Een Python-parser die de afleveringen van een podcast oplijst vanaf de openbare site: nummer, titel, datum, duur en link

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Podcastmakers die naar een nieuwe site verhuizen, redacteuren van shownotes en onderzoekers gebruiken deze parser om afleveringen in een tabel te zetten: nummer, seizoen, titel, datum, duur, korte beschrijving, onderwerpen of tags, link naar de afleveringspagina en de audiolink als de pagina die toont. Hij leest de eigen openbare site van de show, of de openbare RSS-feed, die de meeste podcasts hebben. Stuur de pagina met de afleveringslijst, één afleveringspagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij slaat links op, geen audiobestanden, en heeft geen kolom voor namen van gasten. Hij leest in een rustig tempo, logt nooit in, omzeilt geen captcha's of beveiliging en leest geen sociale netwerken of luisterapps waarvoor een account nodig is. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Afleveringen op volgordeNummer, seizoen en datum in aparte kolommen
• Duur in minutenAls de pagina of feed die toont
• Afleverings- en audiolinksAlleen links, geen audiobestanden
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   ShowJe geeft de afleveringslijst of feed en één opgeslagen afleveringspagina
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de nieuwste afleveringen tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site van de podcast en een link naar de afleveringslijst, of het adres van de openbare RSS-feed, één afleveringspagina en ongeveer hoeveel afleveringen het zijn. De velden in de volgorde van je tabel, bijv. nummer, seizoen, titel, datum, duur, beschrijving, tags, afleveringslink, audiolink. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV, Excel of JSON.

We vragen je:

• Welke podcast?
• De velden die je nodig hebt
• Ongeveer hoeveel afleveringen?
• Het resultaatbestand

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons