Een Python-parser voor een openbare catalogus met online cursussen: titel, aanbieder, prijs, duur en vorm in een tabel

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Online opleiders, cursusvergelijkers en mensen die trainingen vergelijken gebruiken deze parser om een openbare cursuscatalogus in een tabel te zetten: cursustitel, aanbieder, onderwerp, niveau, vorm, duur, startdatum, prijs en oude prijs, aantal lessen, beoordeling zoals getoond en link. Stuur de cataloguspagina, één cursuspagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij neemt over wat de pagina's zeggen; hij beoordeelt de kwaliteit van cursussen niet en belooft geen resultaten van een training. Namen van docenten en reviews van cursisten blijven erbuiten, dus de tabel bevat geen persoonsgegevens. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Prijzen om te vergelijkenPrijs, oude prijs en termijnbedrag als aparte kolommen
• Duur en vormWeken of uren, live of opgenomen, zoals de pagina zegt
• Onderwerp en niveauIn aparte kolommen voor filters
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   CatalogusJe geeft de catalogus en één opgeslagen cursuspagina
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert een paar cursussen tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site en de precieze pagina's: een link naar de cursuscatalogus en naar één cursuspagina, en ongeveer hoeveel cursussen het zijn. De velden in de volgorde van je tabel, bijv. titel, aanbieder, onderwerp, niveau, vorm, duur, startdatum, prijs, oude prijs, link. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel.

We vragen je:

• Welke site en welke pagina's?
• De velden die je nodig hebt
• Ongeveer hoeveel cursussen?
• Alleen bepaalde cursussen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons