Açık ihale ve satın alma ilanları için Python parser'ı: idare, konu, fiyat ve son tarih bir tabloda

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Sözleşmeler için teklif veren tedarikçiler bu parser ile açık ilanları tek bir tabloda görür: ilan numarası, konu, alıcı kurum, bölge, usul türü, başlangıç fiyatı ve para birimi, yayın tarihi, son tarih, durum ve bağlantı. İhale portalında anahtar kelimelerinizle ya da kodlarınızla bir arama yapın, ardından o bağlantıyı, bir ilan sayfasını ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Python kodu, bir ayar dosyası ve README alırsınız ve onu her sabah ya da ihtiyacınız olduğunda bilgisayarınızda çalıştırırsınız. İrtibat kişileri dışarıda bırakılır: ad, e-posta ya da telefon numarası yok. Oturum açmaz, bir hesabın arkasındaki belgeleri indirmez, CAPTCHA'ları ya da korumaları aşmaz veya teklif vermez; siteyi yormayan bir hızda çalışır. Portalın koşullarının buna izin verip vermediğine siz karar verirsiniz; portalın düzeni sonradan değişirse güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Sıralayabileceğiniz son tarihlerTarihler tek bir biçimde, son tarihe göre sıralamaya hazır
• Sayı olarak başlangıç fiyatıPara birimi kendi sütununda
• Anahtar kelimelerinizPortalda kurduğunuz aramadan başlar
• İrtibat kişisi yokYalnızca alıcı kurum; ad ya da telefon yok
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi

Nasıl çalışır

1. 1
   AramaAramayı kurar, bağlantısını ve kaydedilmiş bir ilanı gönderirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve bugünün ilanlarını portalla karşılaştırırsınız
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

İhale portalı ve anahtar kelimelerinizi, kodlarınızı ya da bölgelerinizi içeren bir arama bağlantısı, bir ilan sayfası ve aramanın yaklaşık kaç ilan gösterdiği. Tablonuzdaki sırayla alanlar, ör. numara, konu, alıcı, bölge, başlangıç fiyatı, para birimi, yayın tarihi, son tarih, bağlantı. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. CSV ya da Excel.

Size soracaklarımız:

• Hangi portal ve arama?
• Anahtar kelimeler, kodlar ya da bölgeler
• İhtiyacınız olan alanlar
• Ne sıklıkla çalıştıracaksınız?

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun