Nachrichtenschlagzeilen-ParserFertige Lösungen

Ein fertiger Python-Parser für Schlagzeilen offener Nachrichtenseiten: Schlagzeile, Datum, Rubrik, kurzer Anreißer und Link

Meist in 15 Minuten fertigÜberarbeitungen inklusiveQualitätsprüfung
Pakete
ZahlungsschutzMehr dazu
  • Überarbeitungen im Rahmen des Pakets sind kostenlos.
  • Reagieren Sie nicht innerhalb von 3 Tagen nach der Lieferung, gilt die Arbeit automatisch als abgenommen.

Das Geld wird bei der Zahlung reserviert und erst freigegeben, wenn Sie die Arbeit abnehmen.

Ein fertiger Python-Parser für Schlagzeilen offener Nachrichtenseiten: Schlagzeile, Datum, Rubrik, kurzer Anreißer und Link

Beispielergebnis

Beispiel für das Standard-Paket

Parser für den Katalog eines Gartengeräte-Lieferanten nach Excel

So sieht das Ergebnis aus

Artikelnr.BezeichnungPreisVerfügbarGewichtFoto
GT-1042Gartenschere, 20 mm18,90Ja0,24 kg…/gt-1042.jpg
GT-1187Klappsäge, 210 mm24,50Ja0,31 kg…/gt-1187.jpg
GT-2210Heckenschere, Wellenschliff39,00Nein1,10 kg…/gt-2210.jpg
GT-3305Handschaufel, Edelstahl9,80Ja0,18 kg…/gt-3305.jpg
GT-4120Gartenschlauch 25 m, 1/2"42,00Ja2,90 kg…/gt-4120.jpg

Die Datei im Beispiel enthält 1.236 Produkte von 52 Listenseiten.

Ein Teil des Codes

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Dateien: ein ZIP-Archiv mit scraper.py, settings.ini (die Startseite, die Pause zwischen Anfragen, der Dateiname), requirements.txt und einer README zu Installation und Start. Er liest nur öffentlich zugängliche Seiten, eine alle 2 Sekunden, und prüft zuerst die robots.txt der Website. Der Kunde startet ihn auf seinem eigenen Computer.

Kunde: ein Online-Gartenshop, der die Geräte eines Lieferanten weiterverkauft; der Lieferant hat einen öffentlichen Katalog auf seiner Website, aber keine Preislistendatei. Aufgabe: die Listenseiten des Katalogs durchlaufen, jede Produktseite öffnen und Artikelnummer, Bezeichnung, Preis, Verfügbarkeit, Gewicht und den Link zum Hauptfoto in Excel speichern, um einmal pro Woche die Preise zu vergleichen.

Kunde und alle Angaben sind erfunden.

Über diese Leistung

Ein fertiger Parser für Nachrichtenschlagzeilen: ein typischer Python-Parser, der für Nachrichtenseiten schon ausgearbeitet und auf die offene Nachrichtenseite oder Rubrik zugeschnitten ist, die Sie nennen. Er speichert Schlagzeile, Datum und Uhrzeit, Rubrik, Tags, den kurzen Anreißer, den die Seite zeigt, und den Link: genug, um Ihre Branche zu verfolgen, zu sehen, wie oft ein Thema vorkommt, oder eine Leseliste für einen Newsletter zu führen. Er kopiert keine vollständigen Artikel, die ihren Verlagen gehören; die Tabelle verweist per Link darauf. Wenn die Website einen RSS-Feed hat, kann der Parser ihn lesen, was für die Website schonender ist. Sie schicken Links zu einer Rubrikseite und zu einem Artikel, gespeicherte Kopien davon und die Felder, die Sie brauchen. Sie lassen ihn selbst auf Ihrem Computer laufen. Er liest nur offene Seiten in höflichem Tempo, überspringt alles hinter einer Bezahlschranke oder Anmeldung und speichert keine Kommentare oder etwas mit Namen von Lesern.

Was enthalten ist

  • Das erhalten SieEin ZIP-Archiv mit dem fertigen Nachrichtenschlagzeilen-Parser in Python, einer Einstellungsdatei mit den Adressen und der Pause zwischen den Seiten und einer README; der Code wird auch auf der Bestellseite gezeigt.
  • Schlagzeilenfelder fertigSchlagzeile, Datum, Rubrik, Tags, Anreißer, Link
  • Links, keine VolltexteArtikel bleiben bei ihren Verlagen
  • Mehrere Websites zusammenBis zu 3 in einer Tabelle, im Premium
  • Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
  • Eine verständliche AnleitungPython installieren und starten, Schritt für Schritt

So funktioniert es

  1. 1
    SeitenSie nennen die Website, die Rubrik, die Felder und gespeicherte Seiten
  2. 2
    EinrichtungWir passen den fertigen Parser an diese Seiten an und schreiben die Anleitung
  3. 3
    StartSie lassen ihn laufen und prüfen die ersten Zeilen der Tabelle
  4. 4
    ÄnderungenSie bitten im Rahmen Ihres Pakets um Änderungen und schicken jede Fehlermeldung mit

Was wir von Ihnen brauchen

Die offene Nachrichtenseite und die genauen Seiten: ein Link zu einer Rubrik- oder Tag-Seite und zu einem Artikel. Die Felder, die Sie brauchen, in der Reihenfolge Ihrer Tabelle, zum Beispiel Schlagzeile, Datum, Rubrik, Anreißer und Link. Eine oder zwei dieser Seiten, in Ihrem Browser gespeichert (Datei > Seite speichern unter) oder als Screenshots, und den RSS-Link, falls die Website einen hat. Die Ergebnisdatei: CSV, Excel oder im Premium JSON. Für Premium die anderen Websites und wie oft er laufen soll.

Wir fragen Sie:

  • Welche Website und welche Rubrik?
  • Die Felder, die Sie brauchen
  • Schlüsselwörter zum Behalten
  • Ergebnisdatei und wie oft

Pakete vergleichen

PaketeBasis15 €Standard28 €Premium50 €
Was enthalten istSchlagzeilen von einer SeiteRubrik und ArtikelBis zu 3 Nachrichtenseiten
Lieferzeit1 Tag2 Tage3 Tage
Überarbeitungen123
Websites11bis zu 3
Seitenarten12 (Liste und Artikel)bis zu 3
Felderbis zu 10bis zu 25bis zu 25 je Seitenart
Geht die Seiten einer Liste durchNeinJaJa
ErgebnisdateiCSVExcel oder CSVExcel, CSV oder JSON
Duplikate entfernt, setzt dort fort, wo er aufgehört hatNeinNeinJa
Fertige VersionNachrichtenschlagzeilenNachrichtenschlagzeilenNachrichtenschlagzeilen
Bestellen BasisBestellen StandardBestellen Premium

Zahlungsschutz

Sie bezahlen bei der Bestellung, aber das Geld wird nur für abgenommene Arbeit freigegeben.

  • FestpreisDer Paketpreis ändert sich nach der Zahlung nicht mehr.
  • Das Geld wird reserviertBei der Zahlung wird der Betrag nur reserviert. Freigegeben wird er erst, wenn Sie die Arbeit abnehmen.
  • Vor der Lieferung geprüftJedes Ergebnis durchläuft eine Qualitätsprüfung, bevor es Sie erreicht, und Sie sehen es auf der Bestellseite, bevor Sie es abnehmen.
  • Kostenlose ÜberarbeitungenFordern Sie Überarbeitungen im Rahmen Ihres Briefings so oft an, wie das Paket es erlaubt.
  • Abnahme nach 3 TagenWenn Sie die Arbeit innerhalb von 3 Tagen nach der Lieferung weder abnehmen noch eine Überarbeitung anfordern, gilt sie automatisch als abgenommen. Schreiben Sie nach der Lieferung im Bestell-Chat, wartet die Bestellung; sobald wir antworten, können wir die 3 Tage neu starten und teilen das im Chat mit.
  • Neuanfertigung oder volle RückerstattungWenn das Ergebnis nicht Ihrem Briefing entspricht und die Überarbeitungen das nicht behoben haben oder die Arbeit mehr als doppelt so lange dauert wie die Frist, schreiben Sie im Bestell-Chat: Wir erstellen die Arbeit neu oder erstatten die Zahlung vollständig.
So funktioniert es →

Fragen und Antworten

Kann er den vollständigen Text von Artikeln speichern?

Nein. Artikel sind das Werk der Verlage. Der Parser speichert die Schlagzeile, den kurzen Anreißer, den die Seite zeigt, und den Link, sodass Sie den Artikel auf der Website lesen.

Kann ich die Schlagzeilen auf meiner Website erneut veröffentlichen?

Das hängt von den Bedingungen des Verlags und dem Recht Ihres Landes ab, und die Entscheidung liegt bei Ihnen. Der Parser ist für Ihr eigenes Monitoring und Ihre Leselisten gemacht.

Was, wenn die Website ihr Layout ändert?

Der Parser arbeitet nach den Seiten, wie sie jetzt sind. Nach einem Relaunch braucht er eine Aktualisierung, die eine neue Bestellung ist. Er liest in höflichem Tempo und umgeht keine Grenzen, die eine Website setzt.

Darf ich diese Daten sammeln?

Das Sammeln öffentlicher Daten ist in vielen Fällen erlaubt, aber die Bedingungen von Websites und die Datenschutzgesetze unterscheiden sich zwischen Ländern, daher entscheiden Sie, ob Sie sie sammeln und verwenden dürfen. Der Parser meldet sich nie an, umgeht keine Schutzmaßnahmen und sammelt keine personenbezogenen Daten.

Warum kostet er weniger als ein individueller Parser?

Es ist ein fertiger, typischer Nachrichtenschlagzeilen-Parser: Seine Felder und die Art, wie er sich durch Seiten bewegt, sind schon ausgearbeitet, und wir passen ihn an die Website, die Sie nennen, und Ihre Spalten an. Ungewöhnliche Websites und Felder sind die Leistung Parser nach Maß.

Keine Antwort gefunden?

Pakete