Un parser de Python para un catálogo abierto de cursos en línea: título, escuela, precio, duración y formato en una tabla

Ejemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Enlaces a las páginas de producto de todas las páginas de la lista, siguiendo 'Siguiente'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una página abierta, a un ritmo prudente: una pausa entre peticiones y algunos reintentos si hay errores."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondió %s, intento %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} no se abrió tras 3 intentos")

Acerca de este servicio

Escuelas en línea, agregadores de cursos y quienes comparan formaciones usan este parser para pasar un catálogo abierto de cursos a una tabla: título del curso, escuela, tema, nivel, formato, duración, fecha de inicio, precio y precio anterior, número de lecciones, valoración tal como se muestra y enlace. Envíenos la página del catálogo, una página de curso y una o dos páginas guardadas desde su navegador. Recibe código Python, un archivo de configuración y un README, y lo ejecuta en su ordenador. Copia lo que dicen las páginas; no juzga la calidad de los cursos ni promete resultados de la formación. Los nombres de los profesores y las reseñas de los alumnos se omiten, así que la tabla no contiene datos personales. Lee páginas abiertas a un ritmo prudente y nunca inicia sesión ni se salta captchas o protecciones. Usted decide si las condiciones de la web lo permiten; un cambio posterior de su estructura requiere una actualización.

Qué incluye

• Qué recibeUn archivo ZIP con el código Python, un archivo de configuración y un README con instrucciones paso a paso; el código también se muestra en la página del pedido.
• Precios para compararPrecio, precio anterior y pago a plazos en columnas separadas
• Duración y formatoSemanas u horas, en directo o grabado, tal como dice la página
• Tema y nivelEn columnas separadas para filtrar
• Ritmo prudenteUna pausa entre páginas, fijada en la configuración
• Se ejecuta en su ordenadorWindows, macOS o Linux, con Python

Cómo funciona

1. 1
   CatálogoUsted da el catálogo y una página de curso guardada
2. 2
   ParserEscribimos el código y la guía para ejecutarlo
3. 3
   EjecuciónLo ejecuta y compara algunos cursos con la web
4. 4
   CambiosPide cambios dentro de su paquete y nos envía cualquier mensaje de error

Qué necesitamos de usted

La web y las páginas exactas: un enlace al catálogo de cursos y a una página de curso, y cuántos cursos hay aproximadamente. Los campos en el orden de su tabla, p. ej., título, escuela, tema, nivel, formato, duración, fecha de inicio, precio, precio anterior, enlace. Una o dos de esas páginas guardadas desde su navegador (Archivo > Guardar página como) o capturas. CSV o Excel.

Le preguntaremos:

• ¿Qué web y qué páginas?
• Los campos que necesita
• ¿Cuántos cursos aproximadamente?
• ¿Solo algunos cursos?

Comparar paquetes

Preguntas y respuestas

¿No encontró su respuesta? Pregúntenos