Een websiteparser in Python die openbare gegevens van pagina's verzamelt in CSV of Excel: prijzen, catalogi, advertenties

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Een parser verzamelt gegevens die je op openbare webpagina's kunt zien en slaat ze op als tabel: prijzen en voorraad van producten, de catalogus van een leverancier voor je webshop, advertenties, vacatures, evenementen of artikelen. Vertel ons de site en de pagina's, noem de velden die je nodig hebt (naam, prijs, link, afbeelding enzovoort) en stuur een of twee van die pagina's, opgeslagen vanuit je browser (Bestand > Pagina opslaan als), of screenshots ervan. Wij schrijven de parser in Python op basis van de echte opbouw van die pagina's, en hij slaat de resultaten op als CSV, Excel of JSON. Je krijgt een archief met de code, een instellingenbestand met de adressen en de pauze tussen pagina's, en een README die uitlegt hoe je Python installeert en de parser start. Je draait de parser op je eigen computer, dus de gegevens komen rechtstreeks bij jou; wij verzamelen ze niet voor je en bewaren ze niet. Hij leest alleen openbare pagina's, in een rustig tempo, en logt nooit in, omzeilt geen captcha's of andere beveiliging en verzamelt geen persoonsgegevens zoals namen, e-mailadressen of telefoonnummers. Als een site zijn opmaak verandert, kan de parser een update nodig hebben. Of je de gegevens van een site volgens de voorwaarden mag verzamelen en gebruiken, is jouw verantwoordelijkheid.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Jouw velden, jouw tabelKolommen in de volgorde die je nodig hebt
• Gebouwd op de echte pagina'sGeschreven volgens de opbouw van de pagina's die je stuurt
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python
• Een heldere handleidingWat je installeert en hoe je het uitvoert, stap voor stap

Hoe het werkt

1. 1
   Pagina'sJe geeft de site, de velden en een of twee opgeslagen pagina's
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de eerste rijen van de tabel
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site en de precieze pagina's: een link naar een overzicht en naar een itempagina, en ongeveer hoeveel pagina's het zijn. De velden die je nodig hebt, in de volgorde van je tabel, met een voorbeeld van elk. Een of twee van die pagina's, vanuit je browser opgeslagen als HTML (Bestand > Pagina opslaan als), of screenshots, zodat de parser hun echte opbouw volgt. Het resultaatbestand dat je nodig hebt (CSV, Excel of JSON) en waar je de parser gaat draaien.

We vragen je:

• Welke site en welke pagina's?
• De velden die je nodig hebt
• Ongeveer hoeveel pagina's?
• Het resultaatbestand
• Wat moet hij nog meer doen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons