Ein Python-Parser, der technische Daten von öffentlichen Produktseiten in Spalten für einen direkten Vergleich sammelt

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Shops, die ihre eigenen Produktseiten befüllen, und Käufer, die zwischen Produkten wählen, nutzen diesen Parser, um die Datentabellen öffentlicher Produktseiten in Spalten zu verwandeln: Name, Artikelnummer, Preis und jede Angabe wie Größe, Gewicht, Leistung, Material oder Garantie in einer eigenen Spalte, die Einheit getrennt. Produkte führen unterschiedliche Angaben, daher nennen Sie die benötigten, bis zur Feldgrenze Ihres Pakets; fehlende bleiben leere Zellen. Schicken Sie die Website, eine Kategorie, zwei aus Ihrem Browser gespeicherte Produktseiten und Ihre Liste der Angaben. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Die Angaben werden so übernommen, wie die Seite sie schreibt; wir prüfen oder ergänzen sie nicht. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an und umgeht keine Captchas oder Schutzmaßnahmen. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung des Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Eine Angabe, eine SpalteBereit, Produkte nebeneinanderzustellen
• Einheiten getrenntz. B. 1200 und W in eigenen Spalten
• Ihre Liste der AngabenNur die Angaben, die Sie nennen, in Ihrer Reihenfolge
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   SeitenSie nennen die Website, zwei gespeicherte Produktseiten und Ihre Liste der Angaben
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die Angaben von zwei Produkten
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website und die genauen Seiten: ein Link zu einer Kategorie und zu zwei Produktseiten mit unterschiedlichen Angaben und ungefähr wie viele Produkte es gibt. Ihre Liste der Angaben in der Reihenfolge Ihrer Tabelle, so geschrieben wie auf der Website, und ob Einheiten in eigene Spalten kommen. Zwei Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel.

Wir fragen Sie:

• Welche Website und welche Seiten?
• Ihre Liste der Angaben
• Ungefähr wie viele Produkte?
• Einheiten

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns