Parser Python untuk direktori perusahaan terbuka: nama, kategori, kota, alamat, dan situs web, tanpa kontak pribadi

Contoh hasil

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

Tentang layanan ini

Untuk riset pasar atau daftar calon mitra, parser ini menyalin direktori bisnis terbuka ke dalam tabel: nama perusahaan, kategori, kota, alamat, tautan situs web, deskripsi singkat, jam buka, dan tautan ke halaman perusahaan di direktori. Parser tidak mengumpulkan kontak pribadi: tidak ada nama pemilik, direktur, atau staf, tidak ada email, dan tidak ada nomor telepon, sehingga tabelnya bukan daftar kirim email atau daftar telepon. Kirimkan situs direktori, satu halaman kategori, satu halaman perusahaan, dan satu atau dua halaman yang disimpan dari browser Anda. Anda menerima kode Python, file pengaturan, dan README, lalu menjalankannya di komputer Anda. Parser membaca halaman terbuka dengan kecepatan sopan, tidak pernah login atau mengakali captcha maupun perlindungan, dan tidak membaca Google Maps, LinkedIn, atau media sosial. Anda yang memutuskan apakah ketentuan situs mengizinkannya; perubahan tata letak situs di kemudian hari membutuhkan pembaruan.

Yang termasuk

• Yang Anda dapatkanArsip ZIP berisi kode Python, file pengaturan, dan README dengan petunjuk langkah demi langkah; kodenya juga ditampilkan di halaman pesanan.
• Perusahaan, bukan orangTanpa nama, email, atau nomor telepon
• Kategori dan kotaDi kolom terpisah untuk filter
• Tautan situs webSehingga Anda bisa mengunjungi situs masing-masing perusahaan
• Kecepatan sopanJeda antarhalaman, diatur di pengaturan
• Berjalan di komputer AndaWindows, macOS, atau Linux, dengan Python

Cara kerja

1. 1
   DirektoriAnda mengirim direktori, satu kategori, dan satu halaman perusahaan yang disimpan
2. 2
   ParserKami menulis kode dan panduan menjalankannya
3. 3
   JalankanAnda menjalankannya dan mencocokkan perusahaan-perusahaan pertama dengan situsnya
4. 4
   RevisiAnda meminta revisi sesuai paket dan mengirim pesan error jika ada

Yang kami butuhkan dari Anda

Situs direktori dan halaman persisnya: tautan ke satu kategori (dan kota, jika situs memiliki filter itu) dan ke satu halaman perusahaan, serta kira-kira berapa banyak perusahaannya. Field sesuai urutan tabel Anda, mis. nama, kategori, kota, alamat, situs web, deskripsi. Satu atau dua halaman tersebut yang disimpan dari browser Anda (File > Save page as) atau screenshot. CSV atau Excel.

Kami akan menanyakan:

• Direktori dan halaman mana?
• Kategori dan kota
• Field yang Anda butuhkan
• Kira-kira berapa banyak perusahaan?

Bandingkan paket

Tanya jawab

Tidak menemukan jawabannya? Tanyakan kepada kami