Ein Python-Parser, der die öffentlichen Preise eines Wettbewerbers in einer Tabelle sammelt: Preis, alter Preis, Verfügbarkeit und Link

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Dieser Parser liest die öffentlichen Produktseiten eines Wettbewerbers und trägt dessen Preise in eine Tabelle ein, die Sie neben Ihre eigene legen können: Produktname, Artikelnummer, Preis, alter Preis, Rabatt, Verfügbarkeit und Link, mit dem Datum der Prüfung. Nennen Sie uns die Website, Links zu einer Kategorie und einer Produktseite, die Felder in der Reihenfolge Ihrer Tabelle und ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert. Wir schreiben den Code in Python nach ihrer tatsächlichen Struktur, mit einer Einstellungsdatei und einer README. Sie starten ihn auf Ihrem Computer, wann immer Sie aktuelle Preise möchten, und die Tabelle landet direkt bei Ihnen. Er liest nur öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und sammelt keine personenbezogenen Daten. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie, und eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• PreisspaltenPreis, alter Preis und Rabatt als getrennte Zahlen
• Nummern zum AbgleichenArtikelnummer oder Barcode des Wettbewerbers, wenn die Seite sie zeigt
• Datum jeder PrüfungJede Zeile trägt das Datum, an dem sie erfasst wurde
• Höfliches TempoEine Pause zwischen den Seiten, die Sie festlegen
• Läuft auf Ihrem ComputerWindows, macOS oder Linux; starten Sie ihn erneut für aktuelle Preise

So funktioniert es

1. 1
   SeitenSie nennen die Website des Wettbewerbers, eine Kategorie und eine gespeicherte Produktseite
2. 2
   ParserWir schreiben den Code nach diesen Seiten und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und vergleichen die ersten Zeilen mit der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website des Wettbewerbers und die genauen Seiten: ein Link zu einer Kategorie und zu einer Produktseite und ungefähr wie viele Produkte es gibt. Die benötigten Felder in der Reihenfolge Ihrer Tabelle, z. B. Name, Artikelnummer, Preis, alter Preis, Verfügbarkeit, Link. Ein oder zwei dieser Seiten, aus Ihrem Browser als HTML gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel und wo Sie ihn ausführen werden.

Wir fragen Sie:

• Welche Website des Wettbewerbers und welche Seiten?
• Die benötigten Felder
• Ungefähr wie viele Produkte?
• Wie oft werden Sie ihn starten?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns