Ein Python-Parser, der Bilder aus einem öffentlichen Katalog in einem Ordner speichert, nach Artikelnummer benannt, mit einer Tabelle

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Wenn Sie Ihren eigenen Katalog in einen neuen Shop umziehen oder ein Lieferant Ihnen erlaubt, seine Produktfotos zu verwenden, speichert dieser Parser die Bilder von öffentlichen Katalogseiten in einem Ordner und benennt jede Datei nach der Artikelnummer, dazu eine Tabelle, die Artikelnummer, Produktname, Bildlink und Dateiname verknüpft. Schicken Sie die Website, eine Kategorie und eine Produktseite, ein oder zwei aus Ihrem Browser gespeicherte Seiten und wie die Dateien heißen sollen. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer, sodass die Dateien direkt bei Ihnen landen. Speichern Sie nur Bilder, die Sie verwenden dürfen: Ihre eigenen oder solche, die der Eigentümer freigibt. Die Dateien werden so gespeichert, wie die Website sie liefert. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an und umgeht keine Captchas oder Schutzmaßnahmen. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung des Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Dateinamen nach Ihren VorgabenNach Artikelnummer, mit _1, _2, _3 für weitere Fotos
• Eine passende Tabelle dazuArtikelnummer, Produktname, Bildlink und Dateiname
• Die größte VersionWenn die Seite auf ein größeres Bild verlinkt, nimmt er dieses
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   SeitenSie nennen den Katalog, eine gespeicherte Produktseite und die Dateinamen
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und sehen sich den ersten Bilderordner an
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website und die genauen Seiten: ein Link zu einer Kategorie und zu einer Produktseite und ungefähr wie viele Produkte und Bilder es gibt. Wie die Dateien heißen sollen, z. B. nach Artikelnummer mit _1, _2. Die benötigten Tabellenfelder neben dem Dateinamen. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter). Und Ihre Bestätigung, dass die Bilder Ihnen gehören oder dass der Eigentümer Ihnen die Nutzung erlaubt.

Wir fragen Sie:

• Welche Website und welche Seiten?
• Wie die Dateien heißen sollen
• Ungefähr wie viele Bilder?
• Wem gehören die Bilder?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns