Ein Python-Parser für öffentliche Autoanzeigen: Marke, Baujahr, Kilometerstand, Preis und Stadt in einer Tabelle, ohne Kontaktdaten der Verkäufer

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Händler und Autokäufer nutzen diesen Parser, um den Markt in einer Tabelle zu sehen: Marke, Baujahr, Kilometerstand, Motor, Getriebe, Karosserie, Kraftstoff, Farbe, Preis, Stadt, Veröffentlichungsdatum, Link und Fotolinks aus öffentlichen Autoanzeigen. Richten Sie die Suche auf der Website ein (Marke, Baujahre, Preisspanne) und schicken Sie diesen Link, eine Anzeige und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Wir schreiben den Code in Python nach diesen Seiten; Sie erhalten ihn mit einer Einstellungsdatei und einer README und starten ihn selbst, so oft Sie möchten. Verkäuferdaten bleiben außen vor: keine Namen, E-Mails oder Telefonnummern und keine Kennzeichen oder FIN. Der Parser liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an und umgeht keine Captchas oder Schutzmaßnahmen. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie, und eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Der Markt in einer TabelleIn Excel nach Baujahr, Kilometerstand oder Preis sortieren
• Ihr SuchlinkMarke, Baujahre und Preisspanne auf der Website eingestellt
• Keine VerkäuferdatenKeine Namen, Telefonnummern, Kennzeichen oder FIN
• Kilometerstand als ZahlBereit für Filter und Durchschnittswerte
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   SucheSie schicken einen Suchlink und eine gespeicherte Anzeige
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und vergleichen ein paar Autos mit der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Autowebsite und ein Link zu einer Suche mit Ihren Filtern, eine Anzeigenseite und ungefähr wie viele Autos die Suche zeigt. Die benötigten Felder in der Reihenfolge Ihrer Tabelle, z. B. Marke, Baujahr, Kilometerstand, Motor, Getriebe, Preis, Stadt, Link. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel und wie oft Sie ihn starten werden.

Wir fragen Sie:

• Welche Website und welche Suche?
• Die benötigten Felder
• Ungefähr wie viele Autos?
• Was er sonst noch tun soll

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns