Ein Website-Parser in Python, der öffentliche Daten von Seiten als CSV oder Excel sammelt: Preise, Kataloge, Anzeigen

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Ein Parser sammelt Daten, die Sie auf öffentlichen Webseiten sehen können, und speichert sie als Tabelle: Preise und Bestand von Produkten, den Katalog eines Lieferanten für Ihren Shop, Anzeigen, Stellenangebote, Veranstaltungen oder Artikel. Nennen Sie uns die Website und die Seiten, listen Sie die benötigten Felder auf (Name, Preis, Link, Bild und so weiter) und schicken Sie ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots davon. Wir schreiben den Parser in Python nach der tatsächlichen Struktur dieser Seiten, und er speichert die Ergebnisse als CSV, Excel oder JSON. Sie erhalten ein Archiv mit dem Code, einer Einstellungsdatei mit den Adressen und der Pause zwischen den Seiten und einer README, die erklärt, wie Sie Python installieren und den Parser starten. Sie starten den Parser auf Ihrem eigenen Computer, sodass die Daten direkt zu Ihnen gelangen; wir sammeln sie nicht für Sie und bewahren sie nicht auf. Er liest nur öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder andere Schutzmaßnahmen und sammelt keine personenbezogenen Daten wie Namen, E-Mail-Adressen oder Telefonnummern von Personen. Wenn eine Website ihren Aufbau ändert, braucht der Parser unter Umständen eine Aktualisierung. Ob Sie die Daten einer Website nach deren Nutzungsbedingungen sammeln und nutzen dürfen, liegt in Ihrer Verantwortung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Ihre Felder, Ihre TabelleSpalten in der Reihenfolge, die Sie brauchen
• Auf Basis der echten Seiten gebautNach der Struktur der Seiten geschrieben, die Sie schicken
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python
• Eine verständliche AnleitungWas installiert wird und wie man ihn startet, Schritt für Schritt

So funktioniert es

1. 1
   SeitenSie nennen die Website, die Felder und ein oder zwei gespeicherte Seiten
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die ersten Zeilen der Tabelle
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website und die genauen Seiten: ein Link zu einer Liste und zu einer Detailseite und ungefähr wie viele Seiten es gibt. Die benötigten Felder in der Reihenfolge Ihrer Tabelle, mit einem Beispiel für jedes. Ein oder zwei dieser Seiten, aus Ihrem Browser als HTML gespeichert (Datei > Seite speichern unter), oder Screenshots, damit der Parser ihrer tatsächlichen Struktur folgt. Die gewünschte Ergebnisdatei (CSV, Excel oder JSON) und wo Sie ihn starten werden.

Wir fragen Sie:

• Welche Website und welche Seiten?
• Die benötigten Felder
• Ungefähr wie viele Seiten?
• Die Ergebnisdatei
• Was er sonst noch tun soll

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns