Een Python-parser die de openbare prijzen van een concurrent in een tabel verzamelt: prijs, oude prijs, voorraad en link

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Deze parser leest de openbare productpagina's van een concurrent en zet hun prijzen in een tabel die je naast je eigen prijzen kunt leggen: productnaam, productcode, prijs, oude prijs, korting, op voorraad en link, met de datum van de controle. Geef ons de site, links naar een categorie en naar een productpagina, de velden in de volgorde van je tabel en een of twee van die pagina's, opgeslagen vanuit je browser. Wij schrijven de code in Python volgens hun echte opbouw, met een instellingenbestand en een README. Je draait hem op je computer wanneer je verse prijzen wilt, en de tabel komt rechtstreeks bij jou. Hij leest alleen openbare pagina's in een rustig tempo en logt nooit in, omzeilt geen captcha's of beveiliging en verzamelt geen persoonsgegevens. Jij bepaalt of de voorwaarden van de site het toestaan, en een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• PrijskolommenPrijs, oude prijs en korting als aparte getallen
• Codes om te koppelenDe code of barcode van de concurrent, als de pagina die toont
• Datum van elke controleElke rij draagt de datum waarop hij is verzameld
• Rustig tempoEen pauze tussen pagina's die jij instelt
• Draait op je eigen computerWindows, macOS of Linux; start hem opnieuw voor verse prijzen

Hoe het werkt

1. 1
   Pagina'sJe geeft de site van de concurrent, een categorie en een opgeslagen productpagina
2. 2
   ParserWij schrijven de code volgens die pagina's en de handleiding om hem te starten
3. 3
   StartenJe start hem en vergelijkt de eerste rijen met de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site van de concurrent en de precieze pagina's: een link naar een categorie en naar een productpagina, en ongeveer hoeveel producten het zijn. De velden die je nodig hebt in de volgorde van je tabel, bijv. naam, code, prijs, oude prijs, op voorraad, link. Een of twee van die pagina's, vanuit je browser opgeslagen als HTML (Bestand > Pagina opslaan als), of screenshots. CSV of Excel, en waar je hem gaat draaien.

We vragen je:

• Welke site van de concurrent en welke pagina's?
• De velden die je nodig hebt
• Ongeveer hoeveel producten?
• Hoe vaak ga je hem starten?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons