Ein Python-Parser, der öffentliche Nachrichtenschlagzeilen in einer Tabelle sammelt: Schlagzeile, Datum, Ressort, kurzer Teaser und Link

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

PR-Leute, Analysten und Redaktionen nutzen diesen Parser, um eine Tabelle dessen zu führen, was öffentliche Nachrichtenseiten veröffentlichen: Schlagzeile, Datum und Uhrzeit, Ressort, Tags, der kurze Teaser aus der Liste und der Link. Schicken Sie die Nachrichtenlisten, die Sie verfolgen, eine Nachrichtenseite und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer, wann immer Sie eine aktuelle Liste möchten. Er übernimmt Schlagzeilen und Teaser, keine ganzen Artikel, da die Texte ihren Verlagen gehören, und lässt Autorenzeilen weg, sodass die Tabelle keine Namen von Personen enthält. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an und umgeht keine Paywalls, Captchas oder Schutzmaßnahmen. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Schlagzeile und TeaserSo, wie die Nachrichtenliste sie zeigt
• Datum in einem FormatDamit Sie nach Tag sortieren und filtern können
• Nur Ihre ThemenEin optionaler Filter nach Wörtern, die Sie vorgeben
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   QuellenSie nennen die Nachrichtenlisten und eine gespeicherte Nachrichtenseite
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die heutigen Schlagzeilen anhand der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Nachrichtenseiten und die genauen Listenseiten oder Ressorts, die Sie verfolgen, und je eine Nachrichtenseite davon. Die benötigten Felder, z. B. Schlagzeile, Datum, Uhrzeit, Ressort, Tags, Teaser, Link. Wörter, die behalten oder aussortiert werden sollen, falls Sie einen Filter möchten. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. Wie oft Sie ihn starten werden und CSV oder Excel.

Wir fragen Sie:

• Welche Nachrichtenseiten und Ressorts?
• Die benötigten Felder
• Wörter, die bleiben sollen
• Wie oft werden Sie ihn starten?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns