Parser w Pythonie do ogólnodostępnych ogłoszeń o przetargach i zamówieniach publicznych: zamawiający, przedmiot, cena i termin w tabeli

Przykładowy rezultat

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

O usłudze

Dostawcy startujący w przetargach korzystają z tego parsera, żeby widzieć ogólnodostępne ogłoszenia w jednej tabeli: numer ogłoszenia, przedmiot, zamawiający, region, tryb postępowania, cena wywoławcza i waluta, data publikacji, termin składania ofert, status i link. Uruchom wyszukiwanie na platformie przetargowej ze swoimi słowami kluczowymi lub kodami, a potem prześlij ten link, stronę ogłoszenia oraz jedną lub dwie strony zapisane z przeglądarki. Dostajesz kod w Pythonie, plik ustawień i README i uruchamiasz go na swoim komputerze co rano lub wtedy, gdy potrzebujesz. Osoby do kontaktu są pomijane: żadnych imion, nazwisk, e-maili ani numerów telefonów. Nie loguje się, nie pobiera dokumentów dostępnych tylko z konta, nie obchodzi captchy ani zabezpieczeń i nie składa ofert, a do tego zachowuje spokojne tempo. To Ty oceniasz, czy regulamin platformy na to pozwala; późniejsza zmiana jej układu wymaga aktualizacji.

Co obejmuje usługa

• Co otrzymaszArchiwum ZIP z kodem w Pythonie, plikiem ustawień i plikiem README z instrukcją krok po kroku; kod widać też na stronie zamówienia.
• Terminy do sortowaniaDaty w jednym formacie, gotowe do sortowania według terminu
• Cena wywoławcza jako liczbaZ walutą w osobnej kolumnie
• Twoje słowa kluczoweStartuje od wyszukiwania, które ustawisz na platformie
• Bez osób do kontaktuTylko zamawiający, bez imion i telefonów
• Spokojne tempoPrzerwa między stronami ustawiana w ustawieniach

Jak to działa

1. 1
   WyszukiwanieUstawiasz wyszukiwanie i przesyłasz jego link oraz zapisane ogłoszenie
2. 2
   ParserPiszemy kod i instrukcję uruchomienia
3. 3
   UruchomienieUruchamiasz go i porównujesz dzisiejsze ogłoszenia z platformą
4. 4
   ZmianyZgłaszasz poprawki w ramach pakietu i przesyłasz ewentualny komunikat o błędzie

Czego potrzebujemy od Ciebie

Platforma przetargowa i link do wyszukiwania z Twoimi słowami kluczowymi, kodami lub regionami, jedna strona ogłoszenia oraz mniej więcej liczba ogłoszeń w wynikach. Pola w kolejności Twojej tabeli, np. numer, przedmiot, zamawiający, region, cena wywoławcza, waluta, data publikacji, termin, link. Jedna lub dwie takie strony zapisane z przeglądarki (Plik > Zapisz stronę jako) lub zrzuty ekranu. CSV czy Excel.

Zapytamy Cię:

• Która platforma i jakie wyszukiwanie?
• Słowa kluczowe, kody lub regiony
• Potrzebne pola
• Jak często będziesz go uruchamiać?

Porównaj pakiety

Pytania i odpowiedzi

Nie ma tu odpowiedzi? Zapytaj nas