Bir rakibin herkese açık fiyatlarını tabloya toplayan Python parser'ı: fiyat, eski fiyat, stok ve bağlantı

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Bu parser, bir rakibin herkese açık ürün sayfalarını okur ve fiyatlarını kendi fiyatlarınızla karşılaştırabileceğiniz bir tabloya aktarır: ürün adı, ürün kodu, fiyat, eski fiyat, indirim, stok durumu ve bağlantı, kontrol tarihiyle birlikte. Bize siteyi, bir kategori ve bir ürün sayfası bağlantısını, tablonuzdaki sırayla alanları ve tarayıcınızdan kaydedilmiş bu sayfalardan bir ya da ikisini verin. Kodu Python'da, sayfaların gerçek yapısına göre, bir ayar dosyası ve README ile yazarız. Güncel fiyatlar istediğinizde onu bilgisayarınızda çalıştırırsınız ve tablo doğrudan size gelir. Yalnızca açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da korumaları aşmaz, kişisel veri toplamaz. Sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sitenin düzeni sonradan değişirse güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Fiyat sütunlarıFiyat, eski fiyat ve indirim ayrı sayılar olarak
• Eşleştirme için kodlarSayfada görünüyorsa rakibin ürün kodu ya da barkodu
• Her kontrolün tarihiHer satırda toplandığı tarih yer alır
• Nazik hızSayfalar arasında sizin belirlediğiniz bir bekleme süresi
• Bilgisayarınızda çalışırWindows, macOS ya da Linux; güncel fiyatlar için yeniden çalıştırın

Nasıl çalışır

1. 1
   SayfalarRakibin sitesini, bir kategoriyi ve kaydedilmiş bir ürün sayfasını verirsiniz
2. 2
   ParserKodu bu sayfalara göre ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve ilk satırları siteyle karşılaştırırsınız
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Rakibin sitesi ve tam sayfalar: bir kategori ve bir ürün sayfası bağlantısı ve yaklaşık kaç ürün olduğu. Tablonuzdaki sırayla ihtiyacınız olan alanlar, ör. ad, kod, fiyat, eski fiyat, stok durumu, bağlantı. Tarayıcınızdan HTML olarak kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. CSV mi Excel mi olacağı ve nerede çalıştıracağınız.

Size soracaklarımız:

• Hangi rakip sitesi ve sayfalar?
• İhtiyacınız olan alanlar
• Yaklaşık kaç ürün?
• Ne sıklıkla çalıştıracaksınız?

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun