Sayfalardaki herkese açık verileri CSV ya da Excel'e toplayan Python ile bir web sitesi parser'ı: fiyatlar, kataloglar, ilanlar

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Bir parser herkese açık web sayfalarında görebildiğiniz verileri toplar ve bir tablo olarak kaydeder: ürünlerin fiyatları ve stokları, mağazanız için bir tedarikçi kataloğu, ilanlar, iş ilanları, etkinlikler ya da yazılar. Bize siteyi ve sayfaları söyleyin, ihtiyacınız olan alanları (ad, fiyat, bağlantı, görsel vb.) listeleyin ve tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisini veya ekran görüntülerini gönderin. Parser'ı Python'da bu sayfaların gerçek yapısına göre yazarız; sonuçları CSV, Excel ya da JSON olarak kaydeder. Kodu, adresleri ve sayfalar arasındaki bekleme süresini içeren bir ayar dosyasını ve Python'un nasıl kurulup çalıştırılacağını anlatan bir README'yi içeren bir arşiv alırsınız. Parser'ı kendi bilgisayarınızda siz çalıştırırsınız; böylece veriler doğrudan size gelir; onları sizin için toplamayız ya da saklamayız. Yalnızca açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da diğer korumaları aşmaz veya kişilerin adları, e-postaları ya da telefon numaraları gibi kişisel verileri toplamaz. Bir site düzenini değiştirdiğinde parser'ın güncellenmesi gerekebilir. Bir sitenin verilerini koşullarına göre toplayıp kullanıp kullanamayacağınız sizin sorumluluğunuzdadır.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Sizin alanlarınız, sizin tablonuzİhtiyacınız olan sırayla sütunlar
• Gerçek sayfalara göre yapılırGönderdiğiniz sayfaların yapısına göre yazılır
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi
• Bilgisayarınızda çalışırPython yüklü Windows, macOS ya da Linux
• Sade bir kılavuzNeyin kurulacağı ve nasıl çalıştırılacağı, adım adım

Nasıl çalışır

1. 1
   SayfalarSiteyi, alanları ve kaydedilmiş bir ya da iki sayfayı verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve tablonun ilk satırlarını kontrol edersiniz
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Site ve tam sayfalar: bir listeye ve bir öğe sayfasına bağlantı ve yaklaşık kaç sayfa olduğu. Tablonuzdaki sırayla, her birinden bir örnekle ihtiyacınız olan alanlar. Parser'ın gerçek yapılarını takip edebilmesi için tarayıcınızdan HTML olarak kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. İhtiyacınız olan sonuç dosyası (CSV, Excel ya da JSON) ve nerede çalıştıracağınız.

Size soracaklarımız:

• Hangi site ve hangi sayfalar?
• İhtiyacınız olan alanlar
• Yaklaşık kaç sayfa?
• Sonuç dosyası
• Yapması gereken başka bir şey

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun