Een Python-parser die prijzen van dezelfde producten in 3 openbare webshops in één tabel vergelijkt

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Deze parser zet de prijzen van dezelfde producten uit maximaal drie openbare webshops naast elkaar: één rij per product, met per winkel de prijs, oude prijs, voorraad en link, en de datum van de controle. De drie winkels horen bij Premium; Basis en Standaard lezen één winkel, als start of test. Producten worden gekoppeld op een code die de winkels tonen, zoals een barcode of artikelnummer van de fabrikant, of op de links die je per product opgeeft: namen alleen verschillen te veel om veilig te koppelen. Stuur de sites, van elke site een productpagina opgeslagen vanuit je browser en je productlijst. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij leest openbare pagina's in een rustig tempo, logt nooit in, omzeilt geen captcha's of beveiliging en leest geen Amazon of Google. Jij bepaalt of de voorwaarden van de winkels het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Eén rij per productPrijs, voorraad en link van elke winkel naast elkaar
• Gekoppeld op code of jouw linksBarcode, artikelnummer van de fabrikant, of links die je opgeeft
• Datum van de controleIn elke rij, zodat je runs kunt vergelijken
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   WinkelsJe geeft de winkels, opgeslagen productpagina's en je productlijst
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert een paar rijen in elke winkel
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De drie winkels (of één, voor Basis en Standaard) en van elke winkel een productpagina, opgeslagen vanuit je browser (Bestand > Pagina opslaan als). Je productlijst met de code die de winkels tonen, zoals een barcode, of een tabel met de link van elk product in elke winkel. De velden die je per winkel nodig hebt, bijv. prijs, oude prijs, op voorraad, link. Ongeveer hoeveel producten. CSV, Excel of JSON.

We vragen je:

• Welke winkels?
• Hoe koppel je producten?
• De velden per winkel
• Ongeveer hoeveel producten?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons