Ein Python-Parser, der prüft, ob Produkte auf einer öffentlichen Website vorrätig sind, und jeden Status mit Datum speichert

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Bei jedem Start prüft dieser Parser, welche Produkte auf einer öffentlichen Website vorrätig sind, etwa bei Ihrem Lieferanten oder einem Shop, dessen Waren Sie weiterverkaufen, und speichert eine Tabelle: Name, Artikelnummer, Status, wie die Seite ihn schreibt, Restmenge, wenn angezeigt, Lieferzeit, Preis, Link sowie Datum und Uhrzeit der Prüfung. Bewahren Sie die Datei jedes Laufs auf, und Sie sehen, was wieder da ist und was ausverkauft ist. Schicken Sie die Website, Links zu einer Kategorie und einer Produktseite, die Status, die die Website verwendet, und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code, eine Einstellungsdatei und eine README und starten ihn auf Ihrem Computer. Er liest nur öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und sammelt keine personenbezogenen Daten. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Status als SpalteDie Begriffe der Website oder Ihre eigenen Bezeichnungen wie ja / nein / bestellt
• Menge, wenn angezeigtWenn die Seite zeigt, wie viele noch übrig sind
• Datierte ZeilenDatum und Uhrzeit der Prüfung in jeder Zeile
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   SeitenSie nennen die Website, die Produkte und die verwendeten Status
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   Erste PrüfungSie starten ihn und vergleichen ein paar Status mit der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website und die genauen Seiten: ein Link zu einer Kategorie und zu einer Produktseite oder Ihre Liste mit Produktlinks und ungefähr wie viele Produkte. Die Verfügbarkeitsstatus, die die Website zeigt, so geschrieben, wie sie erscheinen. Die benötigten Felder neben dem Status, z. B. Artikelnummer, Preis, Lieferzeit. Ein oder zwei Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots, idealerweise eine vorrätige und eine ausverkaufte. Wie oft Sie ihn starten möchten.

Wir fragen Sie:

• Welche Website und welche Produkte?
• Die Verfügbarkeitsstatus
• Weitere Felder
• Wie oft werden Sie prüfen?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns