PrijsparserKant-en-klaar

Een kant-en-klare Python-parser voor productprijzen van een open webshop: naam, prijs, oude prijs, voorraad en link

Meestal klaar in 15 minutenRevisies inbegrepenKwaliteitscontrole
Pakketten
BetaalbeschermingDetails
  • Revisies binnen het pakket zijn gratis.
  • Reageer je niet binnen 3 dagen na levering, dan wordt het werk automatisch goedgekeurd.

Het geld wordt bij betaling gereserveerd en pas vrijgegeven als je het werk goedkeurt.

Een kant-en-klare Python-parser voor productprijzen van een open webshop: naam, prijs, oude prijs, voorraad en link

Voorbeeldresultaat

Voorbeeld voor het pakket Standaard

Parser of a garden tools supplier's catalog into Excel

What the result looks like

ArticleNamePriceIn stockWeightPhoto
GT-1042Pruning shears, 20 mm18.90Yes0.24 kg…/gt-1042.jpg
GT-1187Folding saw, 210 mm24.50Yes0.31 kg…/gt-1187.jpg
GT-2210Hedge shears, wavy blade39.00No1.10 kg…/gt-2210.jpg
GT-3305Hand trowel, stainless9.80Yes0.18 kg…/gt-3305.jpg
GT-4120Garden hose 25 m, 1/2"42.00Yes2.90 kg…/gt-4120.jpg

The file in the example has 1,236 products from 52 list pages.

A part of the code

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.

Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.

De klant en alle details zijn verzonnen.

Over deze dienst

Een kant-en-klare prijsparser: een typische Python-parser die al is uitgewerkt voor winkelcatalogi en is afgestemd op de pagina's van de open webshop die je noemt. Hij verzamelt wat elke bezoeker ziet: productnaam, prijs, oude prijs, op voorraad of niet, productcode, categorie en link, en slaat ze op in een tabel met de datum van de run, zodat je prijzen in de tijd kunt volgen of met je eigen assortiment kunt vergelijken. Je stuurt links naar een categorie en naar een productpagina, opgeslagen kopieën ervan en de velden die je nodig hebt. Je voert de parser uit op je eigen computer, dus de gegevens gaan rechtstreeks naar jou. Hij leest alleen open pagina's in een beleefd tempo en logt nooit in en omzeilt geen captcha's of beveiliging, en slaat beoordelingen en al het andere met namen of contactgegevens van mensen over. Prijzen die pas na inloggen of alleen in een app worden getoond, zijn buiten bereik. Of je de gegevens mag verzamelen volgens de voorwaarden van de winkel is jouw beslissing.

Wat is inbegrepen

  • Wat je krijgtEen ZIP-archief met de kant-en-klare prijsparser in Python, een instellingenbestand met de adressen en de pauze tussen pagina's, en een README; de code staat ook op de bestelpagina.
  • Prijsvelden klaarNaam, prijs, oude prijs, voorraad, code, link
  • Rijen met datumElke run gemarkeerd, om prijzen in de tijd te volgen
  • Hele categorieënDoor elke pagina van een lijst, vanaf Standaard
  • Beleefd tempoEen pauze tussen pagina's, ingesteld in de instellingen
  • Een heldere handleidingPython installeren en uitvoeren, stap voor stap

Hoe het werkt

  1. 1
    Pagina'sJe geeft de webshop, de velden en een of twee opgeslagen pagina's
  2. 2
    InrichtingWij stemmen de kant-en-klare parser af op die pagina's en schrijven de handleiding
  3. 3
    UitvoerenJe voert hem uit en controleert de eerste rijen van de tabel
  4. 4
    AanpassingenJe vraagt om aanpassingen binnen je pakket en stuurt eventuele foutmeldingen

Wat we van je nodig hebben

De open webshop en de exacte pagina's: een link naar een categorie en naar één productpagina, en ongeveer hoeveel producten er zijn. De velden die je nodig hebt, in de volgorde van je tabel, bijvoorbeeld naam, prijs, oude prijs, op voorraad, productcode en link. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. Het resultatenbestand: CSV, Excel of, in Premium, JSON. Voor Premium de andere webshops en hoe vaak hij moet draaien.

We vragen je:

  • Welke webshop en welke pagina's?
  • De velden die je nodig hebt
  • Ongeveer hoeveel producten?
  • Resultatenbestand en hoe vaak

Pakketten vergelijken

PakkettenBasis€ 15Standaard€ 29Premium€ 52
Wat is inbegrepenPrijzen van productpagina'sEen hele categorieMaximaal 3 webshops
Levertijd1 dag2 dagen3 dagen
Revisies123
Sites11maximaal 3
Soorten pagina12 (lijst en item)maximaal 3
Veldenmaximaal 10maximaal 25maximaal 25 per soort
Gaat door de pagina's van een lijstNoJaJa
ResultatenbestandCSVExcel of CSVExcel, CSV of JSON
Dubbelen verwijderd, hervat waar hij stopteNoNoJa
Kant-en-klare versieProductprijzenProductprijzenProductprijzen
Bestellen BasisBestellen StandaardBestellen Premium

Betaalbescherming

Je betaalt bij het bestellen, maar het geld wordt alleen vrijgegeven voor goedgekeurd werk.

  • Vaste prijsDe prijs van het pakket verandert niet meer nadat je hebt betaald.
  • Het geld wordt gereserveerdBij betaling wordt het bedrag alleen gereserveerd. Het gaat pas naar de dienst als je het werk goedkeurt.
  • Gecontroleerd vóór leveringElk resultaat doorloopt een kwaliteitscontrole voordat het bij jou komt, en je ziet het op de bestelpagina voordat je het goedkeurt.
  • Gratis revisiesVraag wijzigingen binnen je briefing aan, zo vaak als het pakket toestaat.
  • Goedkeuring na 3 dagenKeur je het werk binnen 3 dagen na levering niet goed en vraag je ook geen wijzigingen, dan wordt het automatisch goedgekeurd. Schrijf je na levering in de chat van de bestelling, dan wacht de bestelling; zodra we hebben geantwoord, kunnen we de 3 dagen opnieuw laten ingaan en melden we dat in de chat.
  • Opnieuw doen of volledige terugbetalingPast het resultaat niet bij je briefing en hebben de revisies dat niet opgelost, of duurt het werk meer dan twee keer zo lang als de levertijd, schrijf dan in de chat van de bestelling: we doen het werk opnieuw of betalen het volledige bedrag terug.
Hoe het werkt →

Vragen en antwoorden

Kan hij prijzen van grote marktplaatsen verzamelen?

Meestal niet: hun voorwaarden verbieden het, veel pagina's vereisen inloggen en ze gebruiken beveiliging die de parser niet omzeilt. Hij past bij open webshops die prijzen aan elke bezoeker tonen.

Verzamelen jullie de prijzen voor mij?

Nee. Je voert de parser zelf uit, dus de resultaten gaan rechtstreeks naar jou en je kunt hem opnieuw draaien wanneer je verse prijzen nodig hebt.

Wat als de site zijn indeling verandert?

De parser werkt op de pagina's zoals ze nu zijn. Na een herontwerp heeft hij een update nodig, wat een nieuwe bestelling is. Hij leest in een beleefd tempo en omzeilt geen limieten die een site instelt.

Mag ik deze gegevens verzamelen?

Openbare gegevens verzamelen is in veel gevallen toegestaan, maar de voorwaarden van sites en gegevenswetten verschillen per land, dus jij beslist of je ze mag verzamelen en gebruiken. De parser logt nooit in, omzeilt geen beveiliging en verzamelt geen persoonsgegevens.

Waarom kost het minder dan een parser op maat?

Het is een kant-en-klare, typische prijsparser: de velden en de manier waarop hij door pagina's gaat zijn al uitgewerkt, en wij stemmen hem af op de site die je noemt en jouw kolommen. Ongebruikelijke sites en velden zijn de dienst voor parsers op maat.

Staat je antwoord er niet bij?

Pakketten