Açık bir firma rehberi için Python parser'ı: ad, kategori, şehir, adres ve web sitesi, kişisel iletişim bilgisi olmadan

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Pazar araştırması ya da olası iş ortakları listesi için bu parser açık bir firma rehberini bir tabloya kopyalar: firma adı, kategori, şehir, adres, web sitesi bağlantısı, kısa açıklama, çalışma saatleri ve firmanın rehberdeki sayfasının bağlantısı. Hiçbir kişisel iletişim bilgisi toplamaz: sahiplerin, yöneticilerin ya da çalışanların adları, e-postalar ve telefon numaraları yok; bu yüzden tablo bir e-posta ya da arama listesi değildir. Rehber sitesini, bir kategori sayfasını, bir firma sayfasını ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Python kodu, bir ayar dosyası ve README alırsınız ve onu bilgisayarınızda çalıştırırsınız. Açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da korumaları aşmaz ve Google Haritalar'ı, LinkedIn'i ya da sosyal ağları okumaz. Sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sitenin düzeni sonradan değişirse güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Kişiler değil, firmalarAd, e-posta ya da telefon numarası yok
• Kategori ve şehirFiltreler için ayrı sütunlarda
• Web sitesi bağlantısıBöylece her firmanın kendi sitesini ziyaret edebilirsiniz
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi
• Bilgisayarınızda çalışırPython yüklü Windows, macOS ya da Linux

Nasıl çalışır

1. 1
   RehberRehberi, bir kategoriyi ve kaydedilmiş bir firma sayfasını verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve ilk firmaları siteyle karşılaştırırsınız
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Rehber sitesi ve tam sayfalar: bir kategoriye (sitede bu filtre varsa şehre de) ve bir firma sayfasına bağlantı ve yaklaşık kaç firma olduğu. Tablonuzdaki sırayla alanlar, ör. ad, kategori, şehir, adres, web sitesi, açıklama. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. CSV ya da Excel.

Size soracaklarımız:

• Hangi rehber ve sayfalar?
• Kategoriler ve şehirler
• İhtiyacınız olan alanlar
• Yaklaşık kaç firma?

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun