Parser Python yang memeriksa apakah produk tersedia di situs terbuka dan menyimpan setiap status beserta tanggalnya

Contoh hasil

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

Tentang layanan ini

Setiap kali Anda menjalankannya, parser ini memeriksa produk mana yang tersedia di situs terbuka, seperti situs pemasok Anda atau toko yang barangnya Anda jual kembali, dan menyimpan tabel: nama, kode, status seperti tertulis di halaman, sisa jumlah jika ditampilkan, waktu pengiriman, harga, tautan, serta tanggal dan jam pengecekan. Simpan file dari setiap kali jalan, dan Anda bisa melihat apa yang kembali tersedia dan apa yang habis. Kirimkan situsnya, tautan ke kategori dan halaman produk, status yang dipakai situs, serta satu atau dua halaman yang disimpan dari browser Anda. Anda menerima kode Python, file pengaturan, dan README, lalu menjalankannya di komputer Anda. Parser hanya membaca halaman terbuka dengan kecepatan sopan dan tidak pernah login, mengakali captcha atau perlindungan, atau mengumpulkan data pribadi. Anda yang memutuskan apakah ketentuan situs mengizinkannya; perubahan tata letak situs di kemudian hari membutuhkan pembaruan.

Yang termasuk

• Yang Anda dapatkanArsip ZIP berisi kode Python, file pengaturan, dan README dengan petunjuk langkah demi langkah; kodenya juga ditampilkan di halaman pesanan.
• Status sebagai kolomKata-kata dari situs, atau label Anda sendiri seperti ya / tidak / inden
• Jumlah jika ditampilkanJika halaman menunjukkan sisa jumlahnya
• Baris bertanggalTanggal dan jam pengecekan di setiap baris
• Kecepatan sopanJeda antarhalaman, diatur di pengaturan
• Berjalan di komputer AndaWindows, macOS, atau Linux, dengan Python

Cara kerja

1. 1
   HalamanAnda memberikan situs, produk, dan status yang dipakainya
2. 2
   ParserKami menulis kode dan panduan menjalankannya
3. 3
   Pengecekan pertamaAnda menjalankannya dan membandingkan beberapa status dengan situsnya
4. 4
   RevisiAnda meminta revisi sesuai paket dan mengirim pesan error jika ada

Yang kami butuhkan dari Anda

Situs dan halaman persisnya: tautan ke kategori dan ke halaman produk, atau daftar tautan produk Anda, serta kira-kira berapa banyak produknya. Status stok yang ditampilkan situs, ditulis persis seperti tampilannya. Field yang Anda butuhkan selain status, mis. kode, harga, waktu pengiriman. Satu atau dua halaman yang disimpan dari browser Anda (File > Save page as) atau screenshot, idealnya satu yang tersedia dan satu yang habis. Seberapa sering Anda berencana menjalankannya.

Kami akan menanyakan:

• Situs dan produk mana?
• Status stok
• Field lain
• Seberapa sering Anda akan memeriksa?

Bandingkan paket

Tanya jawab

Tidak menemukan jawabannya? Tanyakan kepada kami