Een Python-parser voor openbare aanbestedingen: aanbestedende dienst, onderwerp, prijs en deadline in een tabel

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Leveranciers die op opdrachten inschrijven gebruiken deze parser om openbare aankondigingen in één tabel te zien: kenmerk, onderwerp, aanbestedende organisatie, regio, soort procedure, startprijs en valuta, publicatiedatum, deadline, status en link. Voer op het aanbestedingsplatform een zoekopdracht uit met je trefwoorden of codes en stuur dan die link, een aankondigingspagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem elke ochtend of wanneer nodig op je computer. Contactpersonen blijven erbuiten: geen namen, e-mailadressen of telefoonnummers. Hij logt niet in, downloadt geen documenten achter een account, omzeilt geen captcha's of beveiliging, dient geen inschrijvingen in en houdt een rustig tempo aan. Jij bepaalt of de voorwaarden van het platform het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Deadlines om op te sorterenData in één notatie, klaar om op deadline te sorteren
• Startprijs als getalMet de valuta in een eigen kolom
• Jouw trefwoordenBegint bij de zoekopdracht die je op het platform instelt
• Geen contactpersonenAlleen de aanbestedende organisatie, geen namen of telefoonnummers
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen

Hoe het werkt

1. 1
   ZoekopdrachtJe stelt de zoekopdracht in en stuurt de link en een opgeslagen aankondiging
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de aankondigingen van vandaag tegen het platform
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

Het aanbestedingsplatform en een link naar een zoekopdracht met je trefwoorden, codes of regio's, één aankondigingspagina en ongeveer hoeveel aankondigingen de zoekopdracht toont. De velden in de volgorde van je tabel, bijv. kenmerk, onderwerp, aanbestedende dienst, regio, startprijs, valuta, gepubliceerd, deadline, link. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel.

We vragen je:

• Welk platform en welke zoekopdracht?
• Trefwoorden, codes of regio's
• De velden die je nodig hebt
• Hoe vaak ga je hem starten?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons