Ein Python-Parser für öffentliche Immobilienanzeigen: Preis, Fläche, Zimmer, Stadtteil und Link in einer Tabelle, ohne Kontaktdaten

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Für ein Maklerbüro, einen Investor oder einen Käufer sammelt dieser Parser öffentliche Immobilienanzeigen in einer Tabelle: Objektart, Preis, Quadratmeterpreis, wenn angezeigt, Fläche, Zimmer, Etage, Stadt und Stadtteil, Straße, wie die Anzeige sie nennt, Veröffentlichungsdatum, Link und Fotolinks. Richten Sie die Suche auf der Website mit Ihren Filtern ein und schicken Sie uns diesen Link, eine Anzeige und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code, eine Einstellungsdatei und eine README und starten ihn auf Ihrem Computer. Personenbezogene Daten bleiben außen vor: keine Namen, E-Mails oder Telefonnummern von Eigentümern oder Maklern, nur der Link zur Anzeige. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an und umgeht keine Captchas oder Schutzmaßnahmen. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie, und eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Ihre Suche, Ihre FilterStartet mit einem Suchlink, den Sie auf der Website einrichten
• Sortierbare ZahlenPreis, Fläche und Etage in getrennten Spalten
• Keine KontaktdatenNamen und Telefonnummern von Verkäufern und Maklern werden ausgelassen
• FotolinksLinks zu den Fotos der Anzeige, nicht die Dateien
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt

So funktioniert es

1. 1
   SucheSie richten die Suche ein und schicken ihren Link und eine gespeicherte Anzeige
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und vergleichen die ersten Zeilen mit der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Immobilienwebsite und ein Link zu einer Suche mit Ihren Filtern (Stadt, Objektart, Preisspanne), eine Anzeigenseite und ungefähr wie viele Anzeigen die Suche zeigt. Die benötigten Felder in der Reihenfolge Ihrer Tabelle, z. B. Objektart, Preis, Fläche, Zimmer, Etage, Stadtteil, Veröffentlichungsdatum, Link. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel.

Wir fragen Sie:

• Welche Website und welche Suche?
• Die benötigten Felder
• Ungefähr wie viele Anzeigen?
• Was er sonst noch tun soll

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns