Parser Python yang mengumpulkan judul berita terbuka ke dalam tabel: judul, tanggal, rubrik, lead singkat, dan tautan

Contoh hasil

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

Tentang layanan ini

Praktisi PR, analis, dan editor memakai parser ini untuk menyimpan tabel berisi apa yang diterbitkan situs berita terbuka: judul, tanggal dan jam, rubrik, tag, lead singkat yang tampil di daftar, dan tautan. Kirimkan halaman daftar berita yang Anda ikuti, satu halaman berita, dan satu atau dua halaman yang disimpan dari browser Anda. Anda menerima kode Python dengan file pengaturan dan README, lalu menjalankannya di komputer Anda kapan pun Anda ingin daftar terbaru. Parser mengambil judul dan lead, bukan artikel utuh, karena teksnya milik penerbitnya, dan tidak menyertakan nama penulis, sehingga tabel tidak memuat nama orang. Parser membaca halaman terbuka dengan kecepatan sopan dan tidak pernah login atau mengakali paywall, captcha, maupun perlindungan. Anda yang memutuskan apakah ketentuan situs mengizinkannya; perubahan tata letak situs di kemudian hari membutuhkan pembaruan.

Yang termasuk

• Yang Anda dapatkanArsip ZIP berisi kode Python, file pengaturan, dan README dengan petunjuk langkah demi langkah; kodenya juga ditampilkan di halaman pesanan.
• Judul dan leadSeperti yang ditampilkan daftar berita
• Tanggal dalam satu formatSehingga Anda bisa mengurutkan dan memfilter per hari
• Hanya topik AndaFilter opsional berdasarkan kata-kata yang Anda tentukan
• Kecepatan sopanJeda antarhalaman, diatur di pengaturan
• Berjalan di komputer AndaWindows, macOS, atau Linux, dengan Python

Cara kerja

1. 1
   SumberAnda mengirim daftar berita dan satu halaman berita yang disimpan
2. 2
   ParserKami menulis kode dan panduan menjalankannya
3. 3
   JalankanAnda menjalankannya dan mencocokkan judul hari ini dengan situsnya
4. 4
   RevisiAnda meminta revisi sesuai paket dan mengirim pesan error jika ada

Yang kami butuhkan dari Anda

Situs berita dan halaman daftar atau rubrik persis yang Anda ikuti, serta satu halaman berita dari masing-masing. Field yang Anda butuhkan, mis. judul, tanggal, jam, rubrik, tag, lead, tautan. Kata-kata yang disimpan atau dibuang, jika Anda menginginkan filter. Satu atau dua halaman tersebut yang disimpan dari browser Anda (File > Save page as) atau screenshot. Seberapa sering Anda akan menjalankannya, dan CSV atau Excel.

Kami akan menanyakan:

• Situs dan rubrik berita mana?
• Field yang Anda butuhkan
• Kata-kata yang disimpan
• Seberapa sering Anda akan menjalankannya?

Bandingkan paket

Tanya jawab

Tidak menemukan jawabannya? Tanyakan kepada kami