Ein Python-Parser für ein öffentliches Firmenverzeichnis: Name, Kategorie, Stadt, Adresse und Website, keine persönlichen Kontakte

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Für Marktforschung oder eine Liste möglicher Partner überträgt dieser Parser ein öffentliches Branchenverzeichnis in eine Tabelle: Firmenname, Kategorie, Stadt, Adresse, Website-Link, Kurzbeschreibung, Öffnungszeiten und der Link zur Seite des Unternehmens im Verzeichnis. Er sammelt keine persönlichen Kontakte: keine Namen von Inhabern, Geschäftsführern oder Mitarbeitenden, keine E-Mail-Adressen und keine Telefonnummern, die Tabelle ist also keine Mailing- oder Anrufliste. Schicken Sie die Website des Verzeichnisses, eine Kategorieseite, eine Firmenseite und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und liest weder Google Maps noch LinkedIn oder soziale Netzwerke. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Unternehmen, keine PersonenKeine Namen, E-Mail-Adressen oder Telefonnummern
• Kategorie und StadtIn eigenen Spalten für Filter
• Website-LinkDamit Sie die eigene Website jedes Unternehmens besuchen können
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   VerzeichnisSie nennen das Verzeichnis, eine Kategorie und eine gespeicherte Firmenseite
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die ersten Unternehmen anhand der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website des Verzeichnisses und die genauen Seiten: ein Link zu einer Kategorie (und Stadt, falls die Website diesen Filter hat) und zu einer Firmenseite und ungefähr wie viele Unternehmen es gibt. Die Felder in der Reihenfolge Ihrer Tabelle, z. B. Name, Kategorie, Stadt, Adresse, Website, Beschreibung. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel.

Wir fragen Sie:

• Welches Verzeichnis und welche Seiten?
• Kategorien und Städte
• Die benötigten Felder
• Ungefähr wie viele Unternehmen?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns