Un parser de Python que reúne en una tabla titulares de noticias abiertos: titular, fecha, sección, entradilla y enlace

Ejemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Enlaces a las páginas de producto de todas las páginas de la lista, siguiendo 'Siguiente'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una página abierta, a un ritmo prudente: una pausa entre peticiones y algunos reintentos si hay errores."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondió %s, intento %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} no se abrió tras 3 intentos")

Acerca de este servicio

Profesionales de comunicación, analistas y editores usan este parser para llevar una tabla de lo que publican las webs de noticias abiertas: titular, fecha y hora, sección, etiquetas, la breve entradilla que aparece en la lista y el enlace. Envíenos las páginas de listas de noticias que sigue, una página de noticia y una o dos páginas guardadas desde su navegador. Recibe código Python con un archivo de configuración y un README, y lo ejecuta en su ordenador cuando quiera una lista actualizada. Toma titulares y entradillas, no artículos completos, porque los textos pertenecen a sus editores, y omite las firmas, así que la tabla no contiene nombres de personas. Lee páginas abiertas a un ritmo prudente y nunca inicia sesión ni se salta muros de pago, captchas o protecciones. Usted decide si las condiciones de la web lo permiten; un cambio posterior de su estructura requiere una actualización.

Qué incluye

• Qué recibeUn archivo ZIP con el código Python, un archivo de configuración y un README con instrucciones paso a paso; el código también se muestra en la página del pedido.
• Titular y entradillaTal como los muestra la lista de noticias
• Fecha en un formatoPara ordenar y filtrar por día
• Solo sus temasUn filtro opcional por las palabras que indique
• Ritmo prudenteUna pausa entre páginas, fijada en la configuración
• Se ejecuta en su ordenadorWindows, macOS o Linux, con Python

Cómo funciona

1. 1
   FuentesUsted da las listas de noticias y una página de noticia guardada
2. 2
   ParserEscribimos el código y la guía para ejecutarlo
3. 3
   EjecuciónLo ejecuta y compara los titulares de hoy con la web
4. 4
   CambiosPide cambios dentro de su paquete y nos envía cualquier mensaje de error

Qué necesitamos de usted

Las webs de noticias y las páginas de lista o secciones exactas que sigue, y una página de noticia de cada una. Los campos que necesita, p. ej., titular, fecha, hora, sección, etiquetas, entradilla, enlace. Palabras que conservar o descartar, si quiere un filtro. Una o dos de esas páginas guardadas desde su navegador (Archivo > Guardar página como) o capturas. Con qué frecuencia lo ejecutará, y CSV o Excel.

Le preguntaremos:

• ¿Qué webs de noticias y qué secciones?
• Los campos que necesita
• Palabras que conservar
• ¿Con qué frecuencia lo ejecutará?

Comparar paquetes

Preguntas y respuestas

¿No encontró su respuesta? Pregúntenos