Parser de titulares de noticiasListos para usar

Un parser de Python ya preparado para titulares de sitios de noticias abiertos: titular, fecha, sección, entradilla breve y enlace

Suele estar listo en 15 minutosCambios incluidosControl de calidad
Paquetes
Protección de pagoDetalles
  • Los cambios dentro del paquete son gratuitos.
  • Si no responde en los 3 días siguientes a la entrega, el trabajo se acepta automáticamente.

El dinero queda reservado al pagar y solo se libera cuando usted acepta el trabajo.

Un parser de Python ya preparado para titulares de sitios de noticias abiertos: titular, fecha, sección, entradilla breve y enlace

Ejemplo de resultado

Ejemplo del paquete Estándar

Parser del catálogo de un proveedor de herramientas de jardín a Excel

Cómo queda el resultado

ReferenciaNombrePrecioDisponiblePesoFoto
GT-1042Tijeras de podar, 20 mm18,90Sí0,24 kg…/gt-1042.jpg
GT-1187Sierra plegable, 210 mm24,50Sí0,31 kg…/gt-1187.jpg
GT-2210Tijeras para setos, hoja ondulada39,00No1,10 kg…/gt-2210.jpg
GT-3305Pala de mano, acero inoxidable9,80Sí0,18 kg…/gt-3305.jpg
GT-4120Manguera de jardín 25 m, 1/2"42,00Sí2,90 kg…/gt-4120.jpg

El archivo del ejemplo tiene 1.236 productos de 52 páginas de lista.

Una parte del código

def product_links(list_url: str) -> Iterator[str]:
    """Enlaces a las páginas de producto de todas las páginas de la lista, siguiendo 'Siguiente'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una página abierta, a un ritmo prudente: una pausa entre peticiones y algunos reintentos si hay errores."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondió %s, intento %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} no se abrió tras 3 intentos")

Archivos: un archivo ZIP con scraper.py, settings.ini (la página inicial, la pausa entre peticiones, el nombre del archivo), requirements.txt y un README sobre cómo instalarlo y ejecutarlo. Solo lee páginas abiertas, una cada 2 segundos, y antes consulta el robots.txt de la web. El cliente lo ejecuta en su propio ordenador.

Cliente: una tienda de jardinería en línea que revende las herramientas de un proveedor; el proveedor tiene un catálogo abierto en su web, pero ningún archivo con la lista de precios. Tarea: recorrer las páginas de lista del catálogo, abrir cada página de producto y guardar en Excel la referencia, el nombre, el precio, la disponibilidad, el peso y el enlace de la foto principal, para comparar precios una vez por semana.

El cliente y todos los datos son ficticios.

Acerca de este servicio

Un parser de titulares de noticias ya preparado: un parser típico de Python que ya está resuelto para páginas de noticias, ajustado al sitio o sección de noticias abierto que indique. Guarda titular, fecha y hora, sección, etiquetas, la entradilla breve que muestra el sitio y el enlace: suficiente para seguir su sector, ver con qué frecuencia aparece un tema o llevar una lista de lectura para un boletín. No copia artículos completos, que pertenecen a sus editores; la tabla remite a ellos por enlace. Si el sitio tiene un canal RSS, el parser puede leerlo, lo cual es más suave para el sitio. Usted envía enlaces a una página de sección y a un artículo, copias guardadas de ellos y los campos que necesita. Lo ejecuta usted mismo en su ordenador. Lee solo páginas abiertas a un ritmo respetuoso, omite lo que está tras un muro de pago o inicio de sesión y no guarda comentarios ni nada con nombres de lectores.

Qué incluye

  • Qué recibeUn archivo ZIP con el parser de titulares de noticias preparado en Python, un archivo de ajustes con las direcciones y la pausa entre páginas, y un README; el código también se muestra en la página del pedido.
  • Campos de titular listosTitular, fecha, sección, etiquetas, entradilla, enlace
  • Enlaces, no textos completosLos artículos se quedan con sus editores
  • Varios sitios juntosHasta 3 en una tabla, en Premium
  • Ritmo respetuosoUna pausa entre páginas, fijada en los ajustes
  • Una guía sencillaInstalar Python y ejecutarlo, paso a paso

Cómo funciona

  1. 1
    PáginasIndica el sitio, la sección, los campos y páginas guardadas
  2. 2
    ConfiguraciónAjustamos el parser preparado a esas páginas y escribimos la guía
  3. 3
    EjecuciónLo ejecuta y revisa las primeras filas de la tabla
  4. 4
    CambiosPide cambios dentro de su paquete y envía cualquier mensaje de error

Qué necesitamos de usted

El sitio de noticias abierto y las páginas exactas: un enlace a una página de sección o etiqueta y a un artículo. Los campos que necesita en el orden de su tabla, por ejemplo titular, fecha, sección, entradilla y enlace. Una o dos de esas páginas guardadas desde su navegador (Archivo > Guardar página como) o capturas de pantalla, y el enlace RSS si el sitio lo tiene. El archivo de resultados: CSV, Excel o, en Premium, JSON. Para Premium, los demás sitios y con qué frecuencia ejecutarlo.

Le preguntaremos:

  • ¿Qué sitio y qué sección?
  • Los campos que necesita
  • Palabras clave que conservar
  • Archivo de resultados y frecuencia

Comparar paquetes

PaquetesBásico16 US$Estándar31 US$Premium56 US$
Qué incluyeTitulares de una páginaSección y artículosHasta 3 sitios de noticias
Plazo1 día2 días3 días
Cambios123
Sitios11hasta 3
Tipos de página12 (lista y artículo)hasta 3
Camposhasta 10hasta 25hasta 25 en cada una
Recorre las páginas de una listaNoSíSí
Archivo de resultadosCSVExcel o CSVExcel, CSV o JSON
Duplicados quitados, se reanuda donde se detuvoNoNoSí
Versión ya preparadaTitulares de noticiasTitulares de noticiasTitulares de noticias
Hacer pedido BásicoHacer pedido EstándarHacer pedido Premium

Protección de pago

Usted paga al hacer el pedido, pero el dinero solo se libera por un trabajo aceptado.

  • Precio fijoEl precio del paquete no cambia después del pago.
  • El dinero queda reservadoAl pagar, el importe solo queda reservado. Pasa a Dleex cuando usted acepta el trabajo.
  • Revisado antes de la entregaCada resultado pasa un control de calidad antes de llegar a usted, y lo ve en la página del pedido antes de aceptarlo.
  • Cambios gratuitosSolicite cambios dentro de su brief tantas veces como permita el paquete.
  • Aceptación a los 3 díasSi en los 3 días siguientes a la entrega no acepta el trabajo ni solicita cambios, se acepta automáticamente. Si escribe en el chat del pedido después de la entrega, el pedido queda en espera; cuando le respondamos, podremos reiniciar el plazo de 3 días y se lo indicaremos en el chat.
  • Rehacer el trabajo o reembolso totalSi el resultado no se ajusta a su brief y los cambios no lo resolvieron, o el trabajo tarda más del doble de su plazo, escriba en el chat del pedido: rehacemos el trabajo o le reembolsamos el pago íntegro.
Cómo funciona →

Preguntas y respuestas

¿Puede guardar el texto completo de los artículos?

No. Los artículos son obra de los editores. El parser guarda el titular, la entradilla breve que muestra el sitio y el enlace, para que lea el artículo en el propio sitio.

¿Puedo republicar los titulares en mi sitio?

Eso depende de las condiciones del editor y de la ley de su país, y la decisión es suya. El parser está hecho para su propio seguimiento y listas de lectura.

¿Qué pasa si el sitio cambia su diseño?

El parser funciona con las páginas tal como están ahora. Tras un rediseño necesita una actualización, que es un pedido nuevo. Lee a un ritmo respetuoso y no salta los límites que fija un sitio.

¿Se me permite recoger estos datos?

Recoger datos públicos está permitido en muchos casos, pero las condiciones de los sitios y las leyes de datos difieren según el país, así que usted decide si puede recogerlos y usarlos. El parser nunca inicia sesión, salta protecciones ni recoge datos personales.

¿Por qué cuesta menos que un parser a medida?

Es un parser de titulares de noticias típico y ya preparado: sus campos y su forma de recorrer páginas ya están resueltos, y lo ajustamos al sitio que indique y a sus columnas. Los sitios y campos inusuales son el servicio de parser a medida.

¿No encontró su respuesta?

Paquetes