Ein Python-Parser, der öffentliche Produktbewertungen in einer Tabelle sammelt: nur Text, Bewertung und Datum, keine Namen

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Um zu sehen, was Käufer an Ihren Produkten oder denen eines Mitbewerbers mögen und was nicht, sammelt dieser Parser öffentliche Bewertungen in einer Tabelle: das Produkt und sein Link und zu jeder Bewertung nur der Text, die Sternebewertung und das Datum. Namen, Spitznamen, Fotos und Profillinks der Bewertenden werden weggelassen, sodass die Tabelle keine personenbezogenen Daten enthält. Schicken Sie die Website des Shops, eine Produktseite mit Bewertungen und ein oder zwei aus Ihrem Browser gespeicherte Seiten; wenn sich Bewertungen über eine Schaltfläche „Mehr anzeigen“ öffnen, folgt der Parser ihr. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Er liest weder Amazon, Google, LinkedIn noch soziale Netzwerke, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und hält ein höfliches Tempo. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Drei Angaben pro BewertungText, Sternebewertung und Datum, nichts über die Person
• Dem Produkt zugeordnetJede Bewertungszeile enthält den Produktnamen und den Link
• Alle BewertungsseitenFolgt „Mehr anzeigen“ und den Bewertungsseiten
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   SeitenSie nennen den Shop, die Produkte und eine gespeicherte Seite mit Bewertungen
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die Anzahl der Bewertungen eines Produkts
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website des Shops und die genauen Seiten: eine Liste von Produktlinks oder ein Kategorielink und ungefähr wie viele Produkte und Bewertungen es gibt. Die benötigten Produktfelder neben Bewertungstext, Sternebewertung und Datum, z. B. Produktname, Artikelnummer, Link, Durchschnittsbewertung. Ein oder zwei Seiten mit Bewertungen, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel.

Wir fragen Sie:

• Welcher Shop und welche Produkte?
• Produktfelder
• Ungefähr wie viele Bewertungen?
• Nur bestimmte Bewertungen?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns