Parser voor vacaturesKant-en-klaar

Een kant-en-klare Python-parser voor open vacatures: functie, werkgever, plaats, salaris, datum en link in één tabel

Meestal klaar in 15 minutenRevisies inbegrepenKwaliteitscontrole
Pakketten
BetaalbeschermingDetails
  • Revisies binnen het pakket zijn gratis.
  • Reageer je niet binnen 3 dagen na levering, dan wordt het werk automatisch goedgekeurd.

Het geld wordt bij betaling gereserveerd en pas vrijgegeven als je het werk goedkeurt.

Een kant-en-klare Python-parser voor open vacatures: functie, werkgever, plaats, salaris, datum en link in één tabel

Voorbeeldresultaat

Voorbeeld voor het pakket Standaard

Parser of a garden tools supplier's catalog into Excel

What the result looks like

ArticleNamePriceIn stockWeightPhoto
GT-1042Pruning shears, 20 mm18.90Yes0.24 kg…/gt-1042.jpg
GT-1187Folding saw, 210 mm24.50Yes0.31 kg…/gt-1187.jpg
GT-2210Hedge shears, wavy blade39.00No1.10 kg…/gt-2210.jpg
GT-3305Hand trowel, stainless9.80Yes0.18 kg…/gt-3305.jpg
GT-4120Garden hose 25 m, 1/2"42.00Yes2.90 kg…/gt-4120.jpg

The file in the example has 1,236 products from 52 list pages.

A part of the code

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.

Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.

De klant en alle details zijn verzonnen.

Over deze dienst

Een kant-en-klare parser voor vacatures: een typische Python-parser die al is uitgewerkt voor vacaturesites en carrièrepagina's, afgestemd op de open site die je noemt. Hij slaat de velden van elke vacature op die iedereen kan zien zonder in te loggen: functie, werkgever, plaats of remote, salaris indien getoond, soort werk, datum en link. Dat is genoeg om salarissen en vraag naar een functie te bestuderen, vacatures in je regio te volgen of een lijst voor je eigen zoektocht naar werk bij te houden. Je stuurt links naar een zoekpagina en naar één vacaturepagina, opgeslagen kopieën ervan en de velden die je nodig hebt. Je voert hem zelf uit op je computer. Hij verzamelt nooit de namen, e-mailadressen of telefoonnummers van de mensen die een vacature hebben geplaatst, logt nooit in en solliciteert nooit. Sites die inloggen vereisen of dit in hun voorwaarden verbieden, blijven buiten beschouwing. Als de site zijn indeling verandert, heeft de parser een update nodig.

Wat is inbegrepen

  • Wat je krijgtEen ZIP-archief met de kant-en-klare vacatureparser in Python, een instellingenbestand met de adressen en de pauze tussen pagina's, en een README; de code staat ook op de bestelpagina.
  • Vacaturevelden klaarFunctie, werkgever, plaats, salaris, soort, datum, link
  • Geen persoonlijke contactgegevensNamen, e-mailadressen en telefoonnummers worden nooit opgeslagen
  • Hele zoekopdrachtenDoor elke pagina met resultaten, vanaf Standaard
  • Beleefd tempoEen pauze tussen pagina's, ingesteld in de instellingen
  • Een heldere handleidingPython installeren en uitvoeren, stap voor stap

Hoe het werkt

  1. 1
    Pagina'sJe geeft de site, de zoekopdracht, de velden en opgeslagen pagina's
  2. 2
    InrichtingWij stemmen de kant-en-klare parser af op die pagina's en schrijven de handleiding
  3. 3
    UitvoerenJe voert hem uit en controleert de eerste rijen van de tabel
  4. 4
    AanpassingenJe vraagt om aanpassingen binnen je pakket en stuurt eventuele foutmeldingen

Wat we van je nodig hebben

De open vacaturesite en de exacte pagina's: een link naar een zoekopdracht of categorie met je filters, bijvoorbeeld een functie en een plaats, en naar één vacaturepagina. De velden die je nodig hebt in de volgorde van je tabel. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. Het resultatenbestand: CSV, Excel of, in Premium, JSON. Voor Premium de andere sites en hoe vaak hij moet draaien.

We vragen je:

  • Welke site en welke zoekopdracht?
  • De velden die je nodig hebt
  • Ongeveer hoeveel vacatures?
  • Resultatenbestand en hoe vaak

Pakketten vergelijken

PakkettenBasis€ 15Standaard€ 28Premium€ 51
Wat is inbegrepenVacatures van je linksZoekresultaten en vacaturesMaximaal 3 vacaturesites
Levertijd1 dag2 dagen3 dagen
Revisies123
Sites11maximaal 3
Soorten pagina12 (lijst en item)maximaal 3
Veldenmaximaal 10maximaal 25maximaal 25 per soort
Gaat door de pagina's van een lijstNoJaJa
ResultatenbestandCSVExcel of CSVExcel, CSV of JSON
Dubbelen verwijderd, hervat waar hij stopteNoNoJa
Kant-en-klare versieVacaturesVacaturesVacatures
Bestellen BasisBestellen StandaardBestellen Premium

Betaalbescherming

Je betaalt bij het bestellen, maar het geld wordt alleen vrijgegeven voor goedgekeurd werk.

  • Vaste prijsDe prijs van het pakket verandert niet meer nadat je hebt betaald.
  • Het geld wordt gereserveerdBij betaling wordt het bedrag alleen gereserveerd. Het gaat pas naar de dienst als je het werk goedkeurt.
  • Gecontroleerd vóór leveringElk resultaat doorloopt een kwaliteitscontrole voordat het bij jou komt, en je ziet het op de bestelpagina voordat je het goedkeurt.
  • Gratis revisiesVraag wijzigingen binnen je briefing aan, zo vaak als het pakket toestaat.
  • Goedkeuring na 3 dagenKeur je het werk binnen 3 dagen na levering niet goed en vraag je ook geen wijzigingen, dan wordt het automatisch goedgekeurd. Schrijf je na levering in de chat van de bestelling, dan wacht de bestelling; zodra we hebben geantwoord, kunnen we de 3 dagen opnieuw laten ingaan en melden we dat in de chat.
  • Opnieuw doen of volledige terugbetalingPast het resultaat niet bij je briefing en hebben de revisies dat niet opgelost, of duurt het werk meer dan twee keer zo lang als de levertijd, schrijf dan in de chat van de bestelling: we doen het werk opnieuw of betalen het volledige bedrag terug.
Hoe het werkt →

Vragen en antwoorden

Verzamelt hij contactgegevens van medewerkers van werkgevers?

Nee. Hij slaat de naam van de werkgever op zoals de vacature die toont, maar nooit de namen, e-mailadressen of telefoonnummers van mensen.

Kan hij cv's van werkzoekenden verzamelen?

Nee. Cv's bevatten persoonsgegevens en vereisen meestal inloggen; deze parser verzamelt alleen open vacatures.

Wat als de site zijn indeling verandert?

De parser werkt op de pagina's zoals ze nu zijn. Na een herontwerp heeft hij een update nodig, wat een nieuwe bestelling is. Hij leest in een beleefd tempo en omzeilt geen limieten die een site instelt.

Mag ik deze gegevens verzamelen?

Openbare gegevens verzamelen is in veel gevallen toegestaan, maar de voorwaarden van sites en gegevenswetten verschillen per land, dus jij beslist of je ze mag verzamelen en gebruiken. De parser logt nooit in, omzeilt geen beveiliging en verzamelt geen persoonsgegevens.

Waarom kost het minder dan een parser op maat?

Het is een kant-en-klare, typische vacatureparser: de velden en de manier waarop hij door pagina's gaat zijn al uitgewerkt, en wij stemmen hem af op de site die je noemt en jouw kolommen. Ongebruikelijke sites en velden zijn de dienst voor parsers op maat.

Staat je antwoord er niet bij?

Pakketten