Ein Python-Parser, der die Folgen eines Podcasts von seiner öffentlichen Website auflistet: Nummer, Titel, Datum, Länge und Link

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Podcaster, die auf eine neue Website umziehen, Redakteure von Shownotes und Rechercheure nutzen diesen Parser, um Folgen in einer Tabelle aufzulisten: Nummer, Staffel, Titel, Datum, Länge, Kurzbeschreibung, Themen oder Tags, Link zur Folgenseite und den Audio-Link, sofern die Seite ihn zeigt. Er liest die eigene öffentliche Website des Podcasts oder seinen öffentlichen RSS-Feed, den die meisten Podcasts haben. Schicken Sie die Seite mit der Folgenliste, eine Folgenseite und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Er speichert Links, keine Audiodateien, und hat keine Spalte für Namen von Gästen. Er liest in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und liest weder soziale Netzwerke noch Podcast-Apps, die ein Konto erfordern. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung des Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Folgen in ReihenfolgeNummer, Staffel und Datum in eigenen Spalten
• Länge in MinutenWenn die Seite oder der Feed sie zeigt
• Folgen- und Audio-LinksNur Links, keine Audiodateien
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   PodcastSie nennen die Folgenliste oder den Feed und eine gespeicherte Folgenseite
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die neuesten Folgen anhand der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website des Podcasts und ein Link zu seiner Folgenliste oder die Adresse seines öffentlichen RSS-Feeds, eine Folgenseite und ungefähr wie viele Folgen es gibt. Die Felder in der Reihenfolge Ihrer Tabelle, z. B. Nummer, Staffel, Titel, Datum, Länge, Beschreibung, Tags, Folgenlink, Audio-Link. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV, Excel oder JSON.

Wir fragen Sie:

• Welcher Podcast?
• Die benötigten Felder
• Ungefähr wie viele Folgen?
• Die Ergebnisdatei

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns