Ein Python-Parser, der die Preise derselben Produkte in 3 öffentlichen Onlineshops in einer Tabelle vergleicht

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Dieser Parser stellt die Preise derselben Produkte aus bis zu drei öffentlichen Onlineshops nebeneinander: eine Zeile pro Produkt, mit Preis, altem Preis, Verfügbarkeit und Link jedes Shops sowie dem Datum der Prüfung. Die drei Shops gibt es mit Premium; Basis und Standard lesen einen Shop, als Einstieg oder Test. Produkte werden über eine Nummer zugeordnet, die die Shops anzeigen, etwa einen Barcode oder eine Herstellerartikelnummer, oder über die Links, die Sie für jedes Produkt auflisten: Namen allein unterscheiden sich zu sehr für eine sichere Zuordnung. Schicken Sie die Websites, je eine aus Ihrem Browser gespeicherte Produktseite und Ihre Produktliste. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und liest weder Amazon noch Google. Ob die Nutzungsbedingungen der Shops das erlauben, entscheiden Sie; eine spätere Änderung des Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Eine Zeile pro ProduktPreis, Verfügbarkeit und Link jedes Shops nebeneinander
• Zugeordnet über Nummer oder Ihre LinksBarcode, Herstellerartikelnummer oder von Ihnen aufgelistete Links
• Datum der PrüfungIn jeder Zeile, damit sich Durchläufe vergleichen lassen
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   ShopsSie nennen die Shops, gespeicherte Produktseiten und Ihre Produktliste
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen einige Zeilen in jedem Shop
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die drei Shops (oder einer bei Basis und Standard) und je eine Produktseite davon, aus Ihrem Browser gespeichert (Datei > Seite speichern unter). Ihre Produktliste mit der Nummer, die die Shops anzeigen, etwa einem Barcode, oder eine Tabelle mit dem Link jedes Produkts in jedem Shop. Die benötigten Felder pro Shop, z. B. Preis, alter Preis, Verfügbarkeit, Link. Ungefähr wie viele Produkte. CSV, Excel oder JSON.

Wir fragen Sie:

• Welche Shops?
• Wie Produkte zugeordnet werden
• Die Felder pro Shop
• Ungefähr wie viele Produkte?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns