Ein Python-Parser, der öffentliche Buchpreise in einer Tabelle sammelt: Titel, Autor, ISBN, Format, Preis und Verfügbarkeit

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Buchhandlungen und Antiquariate nutzen diesen Parser, um zu sehen, was öffentliche Onlineshops verlangen: Titel, Autor wie auf dem Buch gedruckt, ISBN, Verlag, Jahr, Format (Hardcover, Taschenbuch, E-Book), Preis, alter Preis, Verfügbarkeit und Link. Mit der ISBN in jeder Zeile können Sie die Bücher in Excel mit Ihrer eigenen Liste abgleichen. Schicken Sie die Website des Shops, eine Rubrik- oder Suchseite, eine Buchseite und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer, wann immer Sie Ihre Preise anpassen. Er sammelt keine Daten über Leser oder private Verkäufer. Er liest nur öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und liest weder Amazon noch Google. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• ISBN zum AbgleichenIn einer eigenen Spalte, bereit für einen SVERWEIS in Excel
• Preis und alter PreisAls Zahlen, mit der Verfügbarkeit daneben
• Formate getrenntHardcover, Taschenbuch und E-Book als eigene Zeilen
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   SeitenSie nennen den Shop, eine Rubrik und eine gespeicherte Buchseite
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen einige Preise anhand des Shops
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website der Buchhandlung und die genauen Seiten: ein Link zu einer Rubrik oder einer Suche und zu einer Buchseite und ungefähr wie viele Bücher es gibt. Die Felder in der Reihenfolge Ihrer Tabelle, z. B. Titel, Autor, ISBN, Verlag, Jahr, Format, Preis, alter Preis, Verfügbarkeit, Link. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. Ihre eigene ISBN-Liste, falls nur diese Bücher gelesen werden sollen.

Wir fragen Sie:

• Welcher Shop und welche Seiten?
• Die benötigten Felder
• Ungefähr wie viele Bücher?
• Was er sonst noch tun soll

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns