Un parser Python che elenca gli episodi di un podcast dal suo sito pubblico: numero, titolo, data, durata e link

Esempio di risultato

def product_links(list_url: str) -> Iterator[str]:
    """Link alle pagine prodotto da ogni pagina dell'elenco, seguendo 'Avanti'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una pagina pubblica, a un ritmo discreto: una pausa tra le richieste e qualche tentativo in caso di errore."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ha risposto %s, tentativo %d di 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} non si è aperta dopo 3 tentativi")

Informazioni sul servizio

Chi conduce un podcast e passa a un nuovo sito, chi cura le note degli episodi e i ricercatori usano questo parser per elencare gli episodi in una tabella: numero, stagione, titolo, data, durata, breve descrizione, argomenti o tag, link alla pagina dell'episodio e link all'audio quando la pagina lo mostra. Legge il sito pubblico del programma, o il suo feed RSS pubblico, che la maggior parte dei podcast ha. Ci invii la pagina con l'elenco degli episodi, una pagina di episodio e una o due pagine salvate dal browser. Riceve il codice Python, un file di impostazioni e un README e lo esegue sul suo computer. Salva link, non file audio, e non ha colonne per i nomi degli ospiti. Legge a un ritmo discreto, non accede mai con login né aggira captcha o protezioni, e non legge social network o app di ascolto che richiedono un account. È lei a valutare se le condizioni del sito lo consentono; un successivo cambio di struttura richiede un aggiornamento.

Cosa è incluso

• Cosa riceveUn archivio ZIP con il codice Python, un file di impostazioni e un README con le istruzioni passo passo; il codice è visibile anche nella pagina dell'ordine.
• Episodi in ordineNumero, stagione e data in colonne separate
• Durata in minutiQuando la pagina o il feed la mostrano
• Link all'episodio e all'audioSolo link, nessun file audio
• Ritmo discretoUna pausa tra le pagine, regolata nelle impostazioni
• Gira sul suo computerWindows, macOS o Linux, con Python

Come funziona

1. 1
   ProgrammaLei indica l'elenco degli episodi o il feed e una pagina di episodio salvata
2. 2
   ParserScriviamo il codice e la guida per eseguirlo
3. 3
   AvvioLo esegue e confronta gli ultimi episodi con il sito
4. 4
   ModificheChiede modifiche nei limiti del pacchetto e invia eventuali messaggi di errore

Cosa ci serve da lei

Il sito del podcast e un link al suo elenco di episodi, o l'indirizzo del suo feed RSS pubblico, una pagina di episodio e circa quanti episodi ci sono. I campi nell'ordine della sua tabella, es. numero, stagione, titolo, data, durata, descrizione, tag, link all'episodio, link all'audio. Una o due di quelle pagine salvate dal browser (File > Salva pagina con nome) o screenshot. CSV, Excel o JSON.

Le chiederemo:

• Quale podcast?
• I campi che le servono
• Circa quanti episodi?
• Il file dei risultati

Confronto dei pacchetti

Domande e risposte

Non hai trovato la risposta? Chiedi a noi