Een Python-parser die openbare boekprijzen in een tabel verzamelt: titel, auteur, ISBN, uitvoering, prijs en voorraad

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Boekhandels en tweedehandsverkopers gebruiken deze parser om te zien wat openbare webshops vragen: titel, auteur zoals op het boek gedrukt, ISBN, uitgever, jaar, uitvoering (gebonden, paperback, e-book), prijs, oude prijs, op voorraad en link. Met het ISBN in elke rij koppel je boeken in Excel aan je eigen lijst. Stuur de site van de winkel, een rubriek- of zoekpagina, één boekpagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer wanneer je je prijzen herziet. Hij verzamelt geen gegevens over lezers of particuliere verkopers. Hij leest alleen openbare pagina's in een rustig tempo, logt nooit in, omzeilt geen captcha's of beveiliging en leest geen Amazon of Google. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• ISBN om te koppelenIn een eigen kolom, klaar voor VERT.ZOEKEN in Excel
• Prijs en oude prijsAls getallen, met de voorraad ernaast
• Uitvoeringen apartGebonden, paperback en e-book als aparte rijen
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   Pagina'sJe geeft de winkel, een rubriek en één opgeslagen boekpagina
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert een paar prijzen tegen de winkel
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site van de boekhandel en de precieze pagina's: een link naar een rubriek of zoekopdracht en naar één boekpagina, en ongeveer hoeveel boeken het zijn. De velden in de volgorde van je tabel, bijv. titel, auteur, ISBN, uitgever, jaar, uitvoering, prijs, oude prijs, op voorraad, link. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. Je eigen ISBN-lijst, als je alleen die boeken wilt lezen.

We vragen je:

• Welke winkel en welke pagina's?
• De velden die je nodig hebt
• Ongeveer hoeveel boeken?
• Wat moet hij nog meer doen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons