Parser situs web dalam Python yang mengumpulkan data publik dari halaman ke CSV atau Excel: harga, katalog, listing

Contoh hasil

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

Tentang layanan ini

Parser mengumpulkan data yang bisa Anda lihat di halaman web publik dan menyimpannya sebagai tabel: harga dan stok produk, katalog pemasok untuk toko Anda, listing, lowongan kerja, acara, atau artikel. Beri tahu kami situs dan halamannya, daftar field yang Anda butuhkan (nama, harga, tautan, gambar, dan sebagainya), dan kirimkan satu atau dua halaman tersebut yang disimpan dari browser Anda (File > Save page as) atau screenshot-nya. Kami menulis parser dalam Python sesuai struktur nyata halaman-halaman itu, dan parser menyimpan hasilnya sebagai CSV, Excel, atau JSON. Anda menerima arsip berisi kode, file pengaturan dengan alamat dan jeda antarhalaman, dan README yang menjelaskan cara memasang Python dan menjalankannya. Anda menjalankan parser di komputer Anda sendiri, sehingga data langsung sampai ke Anda; kami tidak mengumpulkan atau menyimpan data untuk Anda. Parser hanya membaca halaman terbuka, dengan kecepatan sopan, dan tidak pernah login, mengakali captcha atau perlindungan lain, maupun mengumpulkan data pribadi seperti nama, email, atau nomor telepon orang. Saat situs mengubah tata letaknya, parser mungkin perlu diperbarui. Apakah Anda boleh mengumpulkan dan memakai data situs menurut ketentuannya adalah tanggung jawab Anda.

Yang termasuk

• Yang Anda dapatkanArsip ZIP berisi kode Python, file pengaturan, dan README dengan petunjuk langkah demi langkah; kodenya juga ditampilkan di halaman pesanan.
• Field Anda, tabel AndaKolom sesuai urutan yang Anda butuhkan
• Dibuat berdasarkan halaman nyataDitulis sesuai struktur halaman yang Anda kirim
• Kecepatan sopanJeda antarhalaman, diatur di pengaturan
• Berjalan di komputer AndaWindows, macOS, atau Linux, dengan Python
• Panduan yang sederhanaApa yang perlu dipasang dan cara menjalankannya, langkah demi langkah

Cara kerja

1. 1
   HalamanAnda mengirim situs, field, dan satu atau dua halaman yang disimpan
2. 2
   ParserKami menulis kode dan panduan menjalankannya
3. 3
   JalankanAnda menjalankannya dan memeriksa baris-baris pertama tabel
4. 4
   RevisiAnda meminta revisi sesuai paket dan mengirim pesan error jika ada

Yang kami butuhkan dari Anda

Situs dan halaman persisnya: tautan ke sebuah daftar dan ke satu halaman item, serta kira-kira berapa banyak halamannya. Field yang Anda butuhkan, sesuai urutan tabel Anda, dengan contoh masing-masing. Satu atau dua halaman tersebut yang disimpan dari browser Anda sebagai HTML (File > Save page as) atau screenshot, agar parser mengikuti struktur nyatanya. File hasil yang Anda butuhkan (CSV, Excel, atau JSON) dan di mana Anda akan menjalankannya.

Kami akan menanyakan:

• Situs dan halaman mana?
• Field yang Anda butuhkan
• Kira-kira berapa banyak halaman?
• File hasil
• Hal lain yang perlu dilakukan

Bandingkan paket

Tanya jawab

Tidak menemukan jawabannya? Tanyakan kepada kami