Een Python-parser voor een openbare bedrijvengids: naam, categorie, plaats, adres en website, geen persoonlijke contacten

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Voor marktonderzoek of een lijst met mogelijke partners zet deze parser een openbare bedrijvengids in een tabel: bedrijfsnaam, categorie, plaats, adres, link naar de website, korte beschrijving, openingstijden en de link naar de pagina van het bedrijf in de gids. Hij verzamelt geen persoonlijke contacten: geen namen van eigenaren, directeuren of medewerkers, geen e-mailadressen en geen telefoonnummers, dus de tabel is geen mailing- of bellijst. Stuur de site van de gids, een categoriepagina, een bedrijfspagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij leest openbare pagina's in een rustig tempo, logt nooit in, omzeilt geen captcha's of beveiliging en leest geen Google Maps, LinkedIn of sociale netwerken. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Bedrijven, geen mensenGeen namen, e-mailadressen of telefoonnummers
• Categorie en plaatsIn aparte kolommen voor filters
• Link naar de websiteZodat je de eigen site van elk bedrijf kunt bezoeken
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   GidsJe geeft de gids, een categorie en een opgeslagen bedrijfspagina
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de eerste bedrijven tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site van de gids en de precieze pagina's: een link naar een categorie (en plaats, als de site dat filter heeft) en naar één bedrijfspagina, en ongeveer hoeveel bedrijven het zijn. De velden in de volgorde van je tabel, bijv. naam, categorie, plaats, adres, website, beschrijving. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel.

We vragen je:

• Welke gids en welke pagina's?
• Categorieën en plaatsen
• De velden die je nodig hebt
• Ongeveer hoeveel bedrijven?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons