Un parser de Python que lista todos los artículos de un blog para una auditoría de contenido: título, fecha, palabras y encabezados

Ejemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Enlaces a las páginas de producto de todas las páginas de la lista, siguiendo 'Siguiente'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una página abierta, a un ritmo prudente: una pausa entre peticiones y algunos reintentos si hay errores."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondió %s, intento %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} no se abrió tras 3 intentos")

Acerca de este servicio

Antes de reescribir, fusionar o borrar entradas antiguas, necesita una lista de lo que tiene el blog. Este parser recorre la lista abierta de artículos de un blog, abre cada entrada y guarda una fila: enlace, título, fecha de publicación y de actualización cuando se muestran, categoría, etiquetas, número de palabras, número de subtítulos, imágenes y enlaces, y la meta descripción. Funciona mejor con su propio blog y también puede leer el blog abierto de un competidor. Envíenos la dirección del blog, un artículo y una o dos páginas guardadas desde su navegador. Recibe código Python, un archivo de configuración y un README y lo ejecuta en su ordenador. Da datos, no puntuaciones, y no promete posiciones en buscadores. Lee páginas abiertas a un ritmo prudente, nunca inicia sesión ni se salta captchas o protecciones, y omite los nombres de los autores. Usted decide si las condiciones de una web lo permiten; un cambio posterior de estructura requiere una actualización.

Qué incluye

• Qué recibeUn archivo ZIP con el código Python, un archivo de configuración y un README con instrucciones paso a paso; el código también se muestra en la página del pedido.
• Recuentos por artículoPalabras, subtítulos, imágenes y enlaces
• Fechas y categoríasPublicación, actualización, categoría y etiquetas
• Título y descripciónTal como están escritos en la página, con su longitud
• Listo para filtrosOrdene por fecha o por longitud en Excel
• Ritmo prudenteUna pausa entre páginas, fijada en la configuración

Cómo funciona

1. 1
   BlogUsted da la dirección del blog y un artículo guardado
2. 2
   ParserEscribimos el código y la guía para ejecutarlo
3. 3
   EjecuciónLo ejecuta y comprueba los recuentos de dos o tres entradas
4. 4
   CambiosPide cambios dentro de su paquete y nos envía cualquier mensaje de error

Qué necesitamos de usted

La dirección del blog y un enlace a su lista de artículos, un artículo y cuántas entradas hay aproximadamente. Los campos que necesita, p. ej., enlace, título, fecha, categoría, etiquetas, número de palabras, subtítulos, meta descripción. Una o dos de esas páginas guardadas desde su navegador (Archivo > Guardar página como). Si es su blog u otro, y CSV o Excel.

Le preguntaremos:

• ¿Qué blog?
• Los campos que necesita
• ¿Cuántos artículos aproximadamente?
• Cualquier otra cosa que deba hacer

Comparar paquetes

Preguntas y respuestas

¿No encontró su respuesta? Pregúntenos