Ein Python-Parser für öffentliche Ausschreibungen und Vergabebekanntmachungen: Auftraggeber, Gegenstand, Preis und Frist in einer Tabelle

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Anbieter, die sich um Aufträge bewerben, nutzen diesen Parser, um öffentliche Bekanntmachungen in einer Tabelle zu sehen: Bekanntmachungsnummer, Gegenstand, Auftraggeber, Region, Verfahrensart, Startpreis und Währung, Veröffentlichungsdatum, Frist, Status und Link. Führen Sie auf dem Vergabeportal eine Suche mit Ihren Stichwörtern oder Codes aus und schicken Sie dann diesen Link, eine Bekanntmachungsseite und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn jeden Morgen oder nach Bedarf auf Ihrem Computer. Ansprechpersonen werden weggelassen: keine Namen, E-Mail-Adressen oder Telefonnummern. Er meldet sich nicht an, lädt keine Unterlagen hinter einem Konto herunter, umgeht keine Captchas oder Schutzmaßnahmen, gibt keine Angebote ab und hält ein höfliches Tempo. Ob die Nutzungsbedingungen des Portals das erlauben, entscheiden Sie; eine spätere Änderung seines Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Sortierbare FristenDaten in einem Format, bereit zum Sortieren nach Frist
• Startpreis als ZahlMit der Währung in einer eigenen Spalte
• Ihre StichwörterGeht von der Suche aus, die Sie auf dem Portal einrichten
• Keine AnsprechpersonenNur der Auftraggeber, keine Namen oder Telefonnummern
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt

So funktioniert es

1. 1
   SucheSie richten die Suche ein und schicken ihren Link und eine gespeicherte Bekanntmachung
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die heutigen Bekanntmachungen anhand des Portals
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Das Vergabeportal und ein Link zu einer Suche mit Ihren Stichwörtern, Codes oder Regionen, eine Bekanntmachungsseite und ungefähr wie viele Bekanntmachungen die Suche anzeigt. Die Felder in der Reihenfolge Ihrer Tabelle, z. B. Nummer, Gegenstand, Auftraggeber, Region, Startpreis, Währung, veröffentlicht, Frist, Link. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel.

Wir fragen Sie:

• Welches Portal und welche Suche?
• Stichwörter, Codes oder Regionen
• Die benötigten Felder
• Wie oft werden Sie ihn starten?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns