Een Python-parser die productspecificaties van openbare pagina's in kolommen zet om ze naast elkaar te vergelijken

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Winkels die hun eigen productkaarten vullen en kopers die tussen producten kiezen gebruiken deze parser om de specificatietabellen van openbare productpagina's in kolommen te zetten: naam, code, prijs en elke specificatie, zoals afmetingen, gewicht, vermogen, materiaal of garantie, in een eigen kolom met de eenheid apart. Producten noemen verschillende specificaties, dus jij noemt de specificaties die je nodig hebt, tot de veldenlimiet van je pakket; ontbrekende blijven lege cellen. Stuur de site, een categorie, twee productpagina's opgeslagen vanuit je browser en je lijst met specificaties. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Specificaties worden overgenomen zoals de pagina ze schrijft; we controleren of vullen ze niet aan. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Eén specificatie, één kolomKlaar om producten naast elkaar te zetten
• Eenheden apartbijv. 1200 en W in aparte kolommen
• Jouw lijst met specificatiesAlleen de specificaties die jij noemt, in jouw volgorde
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   Pagina'sJe geeft de site, twee opgeslagen productpagina's en je lijst met specificaties
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de specificaties van twee producten
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site en de precieze pagina's: een link naar een categorie en naar twee productpagina's met verschillende specificaties, en ongeveer hoeveel producten het zijn. Je lijst met specificaties in de volgorde van je tabel, geschreven zoals de site ze schrijft, en of eenheden in aparte kolommen moeten. Twee pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel.

We vragen je:

• Welke site en welke pagina's?
• Jouw lijst met specificaties
• Ongeveer hoeveel producten?
• Eenheden

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons