Een Python-parser die openbare recepten in een tabel verzamelt: titel, categorie, tijd, personen, ingrediënten en link

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Foodbloggers die hun eigen recepten verhuizen, kookapps en diensten voor maaltijdplanning gebruiken deze parser om van openbare pagina's een receptentabel te maken: titel, categorie, keuken, bereidingstijd, aantal personen, ingrediënten, stappen, calorieën als de pagina die toont, link naar de afbeelding en link. Veel receptpagina's bewaren deze feiten ook in een verborgen gestructureerd blok, en de parser leest dat als het er is. Stuur de site, een categorie en een receptpagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Recepteksten en foto's zijn van hun auteurs: gebruik alleen wat je mag. Auteursnamen worden weggelaten. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Ingrediënten als lijstEén ingrediënt per regel in een cel, of een apart tabblad
• Tijd en personenAls getallen waarop je kunt filteren
• Links naar afbeeldingenAlleen links; gebruik foto's die je mag gebruiken
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   Pagina'sJe geeft de site, een categorie en één opgeslagen recept
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert twee recepten tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De receptensite en de precieze pagina's: een link naar een categorie en naar één recept, en ongeveer hoeveel recepten. De velden die je nodig hebt, bijv. titel, categorie, keuken, tijd, personen, ingrediënten, stappen, calorieën, link naar de afbeelding. Hoe ingrediënten eruit moeten zien: één cel of een apart tabblad. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als). En of het je eigen recepten zijn of die van een andere site.

We vragen je:

• Welke site en welke pagina's?
• De velden die je nodig hebt
• Ongeveer hoeveel recepten?
• Hoe moeten ingrediënten eruitzien?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons