Parser Python yang mendaftar setiap artikel blog untuk audit konten: judul, tanggal, jumlah kata, dan subjudul

Contoh hasil

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

Tentang layanan ini

Sebelum menulis ulang, menggabungkan, atau menghapus postingan lama, Anda perlu daftar isi blog Anda. Parser ini menelusuri daftar artikel terbuka sebuah blog, membuka setiap postingan, dan menyimpan satu baris: tautan, judul, tanggal terbit dan tanggal diperbarui jika ditampilkan, kategori, tag, jumlah kata, jumlah subjudul, gambar, dan tautan, serta meta description. Parser paling cocok untuk blog Anda sendiri dan juga bisa membaca blog terbuka milik pesaing. Kirimkan alamat blog, satu artikel, dan satu atau dua halaman yang disimpan dari browser Anda. Anda menerima kode Python, file pengaturan, dan README, lalu menjalankannya di komputer Anda. Parser memberikan fakta, bukan skor, dan tidak menjanjikan posisi di pencarian. Parser membaca halaman terbuka dengan kecepatan sopan, tidak pernah login atau mengakali captcha maupun perlindungan, dan tidak menyertakan nama penulis. Anda yang memutuskan apakah ketentuan situs mengizinkannya; perubahan tata letak di kemudian hari membutuhkan pembaruan.

Yang termasuk

• Yang Anda dapatkanArsip ZIP berisi kode Python, file pengaturan, dan README dengan petunjuk langkah demi langkah; kodenya juga ditampilkan di halaman pesanan.
• Hitungan per artikelKata, subjudul, gambar, dan tautan
• Tanggal dan kategoriTerbit, diperbarui, kategori, dan tag
• Judul dan deskripsiSeperti tertulis di halaman, beserta panjangnya
• Siap untuk filterUrutkan berdasarkan tanggal atau panjang di Excel
• Kecepatan sopanJeda antarhalaman, diatur di pengaturan

Cara kerja

1. 1
   BlogAnda mengirim alamat blog dan satu artikel yang disimpan
2. 2
   ParserKami menulis kode dan panduan menjalankannya
3. 3
   JalankanAnda menjalankannya dan memeriksa hitungan dua atau tiga postingan
4. 4
   RevisiAnda meminta revisi sesuai paket dan mengirim pesan error jika ada

Yang kami butuhkan dari Anda

Alamat blog dan tautan ke daftar artikelnya, satu artikel, dan kira-kira berapa banyak postingannya. Field yang Anda butuhkan, mis. tautan, judul, tanggal, kategori, tag, jumlah kata, subjudul, meta description. Satu atau dua halaman tersebut yang disimpan dari browser Anda (File > Save page as). Apakah itu blog Anda atau blog lain, dan CSV atau Excel.

Kami akan menanyakan:

• Blog yang mana?
• Field yang Anda butuhkan
• Kira-kira berapa banyak artikel?
• Hal lain yang perlu dilakukan

Bandingkan paket

Tanya jawab

Tidak menemukan jawabannya? Tanyakan kepada kami