Açık bir sitede ürünlerin stokta olup olmadığını kontrol eden ve her durumu tarihiyle kaydeden Python parser'ı

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Bu parser her çalıştırdığınızda, tedarikçinizinki ya da ürünlerini yeniden sattığınız bir mağazanınki gibi açık bir sitede hangi ürünlerin stokta olduğunu kontrol eder ve bir tablo kaydeder: ad, kod, sayfadaki ifadesiyle durum, gösteriliyorsa kalan adet, teslim süresi, fiyat, bağlantı ve kontrolün tarihi ve saati. Her çalıştırmanın dosyasını saklarsanız neyin geri geldiğini ve neyin tükendiğini görürsünüz. Siteyi, bir kategori ve bir ürün sayfası bağlantısını, sitenin kullandığı durumları ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Python kodu, bir ayar dosyası ve README alırsınız ve onu bilgisayarınızda çalıştırırsınız. Yalnızca açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da korumaları aşmaz, kişisel veri toplamaz. Sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sitenin düzeni sonradan değişirse güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Sütun olarak durumSitenin ifadeleri ya da var / yok / siparişte gibi kendi etiketleriniz
• Gösteriliyorsa adetSayfa kaç adet kaldığını gösterdiğinde
• Tarihli satırlarHer satırda kontrolün tarihi ve saati
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi
• Bilgisayarınızda çalışırPython yüklü Windows, macOS ya da Linux

Nasıl çalışır

1. 1
   SayfalarSiteyi, ürünleri ve sitenin kullandığı durumları verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   İlk kontrolÇalıştırır ve birkaç durumu siteyle karşılaştırırsınız
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Site ve tam sayfalar: bir kategori ve bir ürün sayfası bağlantısı ya da ürün bağlantıları listeniz ve yaklaşık kaç ürün olduğu. Sitenin gösterdiği stok durumları, göründükleri gibi yazılmış. Durum dışında ihtiyacınız olan alanlar, ör. kod, fiyat, teslim süresi. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bir ya da iki sayfa veya ekran görüntüleri; ideal olarak biri stokta, biri stokta olmayan. Ne sıklıkla çalıştırmayı planladığınız.

Size soracaklarımız:

• Hangi site ve ürünler?
• Stok durumları
• Diğer alanlar
• Ne sıklıkla kontrol edeceksiniz?

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun