Un parser de Python que lista los episodios de un pódcast desde su web abierta: número, título, fecha, duración y enlace

Ejemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Enlaces a las páginas de producto de todas las páginas de la lista, siguiendo 'Siguiente'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una página abierta, a un ritmo prudente: una pausa entre peticiones y algunos reintentos si hay errores."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondió %s, intento %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} no se abrió tras 3 intentos")

Acerca de este servicio

Presentadores de pódcast que se mudan a una web nueva, editores de notas del programa e investigadores usan este parser para listar episodios en una tabla: número, temporada, título, fecha, duración, descripción breve, temas o etiquetas, enlace a la página del episodio y el enlace del audio cuando la página lo muestra. Lee la web abierta del propio programa, o su feed RSS abierto, que tienen la mayoría de los pódcast. Envíenos la página con la lista de episodios, una página de episodio y una o dos páginas guardadas desde su navegador. Recibe código Python, un archivo de configuración y un README, y lo ejecuta en su ordenador. Guarda enlaces, no archivos de audio, y no tiene columna para nombres de invitados. Lee a un ritmo prudente, nunca inicia sesión ni se salta captchas o protecciones, y no lee redes sociales ni apps de escucha que requieran una cuenta. Usted decide si las condiciones de la web lo permiten; un cambio posterior de estructura requiere una actualización.

Qué incluye

• Qué recibeUn archivo ZIP con el código Python, un archivo de configuración y un README con instrucciones paso a paso; el código también se muestra en la página del pedido.
• Episodios en ordenNúmero, temporada y fecha en columnas separadas
• Duración en minutosCuando la página o el feed la muestran
• Enlaces del episodio y del audioSolo enlaces, sin archivos de audio
• Ritmo prudenteUna pausa entre páginas, fijada en la configuración
• Se ejecuta en su ordenadorWindows, macOS o Linux, con Python

Cómo funciona

1. 1
   ProgramaUsted da la lista de episodios o el feed y una página de episodio guardada
2. 2
   ParserEscribimos el código y la guía para ejecutarlo
3. 3
   EjecuciónLo ejecuta y compara los últimos episodios con la web
4. 4
   CambiosPide cambios dentro de su paquete y nos envía cualquier mensaje de error

Qué necesitamos de usted

La web del pódcast y un enlace a su lista de episodios, o la dirección de su feed RSS abierto, una página de episodio y cuántos episodios hay aproximadamente. Los campos en el orden de su tabla, p. ej., número, temporada, título, fecha, duración, descripción, etiquetas, enlace del episodio, enlace del audio. Una o dos de esas páginas guardadas desde su navegador (Archivo > Guardar página como) o capturas. CSV, Excel o JSON.

Le preguntaremos:

• ¿Qué pódcast?
• Los campos que necesita
• ¿Cuántos episodios aproximadamente?
• El archivo de resultados

Comparar paquetes

Preguntas y respuestas

¿No encontró su respuesta? Pregúntenos