Ein Python-Parser, der öffentliche Rezepte in einer Tabelle sammelt: Titel, Kategorie, Zeit, Portionen, Zutaten und Link

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Foodblogger, die ihre eigenen Rezepte umziehen, Koch-Apps und Essensplanungsdienste nutzen diesen Parser, um aus öffentlichen Seiten eine Rezepttabelle zu erstellen: Titel, Kategorie, Küche, Zubereitungszeit, Portionen, Zutaten, Schritte, Kalorien, sofern die Seite sie zeigt, Bildlink und Link. Viele Rezeptseiten halten diese Angaben zusätzlich in einem versteckten strukturierten Block bereit, und der Parser liest ihn, wenn er vorhanden ist. Schicken Sie die Website, eine Kategorie und eine Rezeptseite sowie ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Rezepttexte und Fotos gehören ihren Urhebern: Verwenden Sie nur, was Sie dürfen. Autorennamen werden weggelassen. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an und umgeht keine Captchas oder Schutzmaßnahmen. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung des Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Zutaten als ListeEine Zutat pro Zeile in einer Zelle oder ein eigenes Tabellenblatt
• Zeit und PortionenAls Zahlen, die Sie filtern können
• BildlinksNur Links; verwenden Sie Fotos, die Sie verwenden dürfen
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   SeitenSie nennen die Website, eine Kategorie und ein gespeichertes Rezept
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen zwei Rezepte anhand der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Rezeptseite und die genauen Seiten: ein Link zu einer Kategorie und zu einem Rezept und ungefähr wie viele Rezepte es gibt. Die benötigten Felder, z. B. Titel, Kategorie, Küche, Zeit, Portionen, Zutaten, Schritte, Kalorien, Bildlink. Wie die Zutaten aussehen sollen: eine Zelle oder ein eigenes Tabellenblatt. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter). Und ob es Ihre eigenen Rezepte sind oder die einer anderen Website.

Wir fragen Sie:

• Welche Website und welche Seiten?
• Die benötigten Felder
• Ungefähr wie viele Rezepte?
• Wie sollen die Zutaten aussehen?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns