Un parseur Python qui liste les épisodes d’un podcast depuis son site public : numéro, titre, date, durée et lien

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Animateurs de podcast qui changent de site, rédacteurs de notes d’épisode et chercheurs utilisent ce parseur pour lister les épisodes dans un tableau : numéro, saison, titre, date, durée, courte description, thèmes ou tags, lien vers la page de l’épisode et lien audio quand la page l’affiche. Il lit le site public de l’émission elle-même, ou son flux RSS public, que la plupart des podcasts ont. Envoyez la page de la liste des épisodes, une page d’épisode et une ou deux pages enregistrées depuis votre navigateur. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Il enregistre des liens, pas des fichiers audio, et n’a pas de colonne pour les noms des invités. Il lit à un rythme raisonnable, ne se connecte jamais, ne contourne ni captcha ni protection, et ne lit ni les réseaux sociaux ni les applis d’écoute qui demandent un compte. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Épisodes dans l’ordreNuméro, saison et date dans des colonnes séparées
• Durée en minutesQuand la page ou le flux l’affiche
• Liens des épisodes et de l’audioLiens uniquement, pas de fichiers audio
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   ÉmissionVous donnez la liste des épisodes ou le flux et une page d’épisode enregistrée
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez les derniers épisodes avec le site
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site du podcast et un lien vers sa liste d’épisodes, ou l’adresse de son flux RSS public, une page d’épisode et le nombre approximatif d’épisodes. Les champs dans l’ordre de votre tableau, ex. : numéro, saison, titre, date, durée, description, tags, lien de l’épisode, lien audio. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV, Excel ou JSON.

Nous vous demanderons :

• Quel podcast ?
• Les champs voulus
• Combien d’épisodes environ ?
• Le fichier de résultats

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question