Parser judul beritaSiap Pakai

Parser Python siap pakai untuk judul berita dari situs berita terbuka: judul, tanggal, rubrik, pembuka singkat, dan tautan

Biasanya selesai dalam 15 menitTermasuk revisiPemeriksaan kualitas
Paket
Perlindungan pembayaranSelengkapnya
  • Revisi dalam batas paket tidak dikenai biaya.
  • Jika Anda tidak merespons dalam 3 hari setelah penyerahan hasil, hasil kerja diterima secara otomatis.

Uang ditahan saat Anda membayar dan diteruskan hanya setelah Anda menerima hasil kerja.

Parser Python siap pakai untuk judul berita dari situs berita terbuka: judul, tanggal, rubrik, pembuka singkat, dan tautan

Contoh hasil

Contoh untuk paket Standar

Parser katalog pemasok alat berkebun ke Excel

Seperti apa hasilnya

ArtikelNamaHargaTersediaBeratFoto
GT-1042Gunting dahan, 20 mm18,90Ya0,24 kg…/gt-1042.jpg
GT-1187Gergaji lipat, 210 mm24,50Ya0,31 kg…/gt-1187.jpg
GT-2210Gunting pagar tanaman, mata bergelombang39,00Tidak1,10 kg…/gt-2210.jpg
GT-3305Sekop tangan, baja tahan karat9,80Ya0,18 kg…/gt-3305.jpg
GT-4120Selang taman 25 m, 1/2"42,00Ya2,90 kg…/gt-4120.jpg

File dalam contoh ini berisi 1.236 produk dari 52 halaman daftar.

Sebagian kode

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

File: arsip ZIP berisi scraper.py, settings.ini (halaman awal, jeda antarpermintaan, nama file), requirements.txt, dan README tentang cara memasang dan menjalankannya. Parser hanya membaca halaman terbuka, satu halaman setiap 2 detik, dan lebih dulu memeriksa robots.txt situs. Klien menjalankannya di komputernya sendiri.

Klien: toko online perlengkapan kebun yang menjual kembali alat dari seorang pemasok; pemasok punya katalog terbuka di situsnya, tetapi tidak punya file daftar harga. Tugas: menelusuri halaman-halaman daftar katalog, membuka setiap halaman produk, dan menyimpan nomor artikel, nama, harga, stok, berat, serta tautan foto utama ke Excel, untuk membandingkan harga seminggu sekali.

Klien dan semua datanya fiktif.

Tentang layanan ini

Parser judul berita siap pakai: parser Python umum yang sudah dirancang untuk halaman berita, disesuaikan dengan situs atau rubrik berita terbuka yang Anda sebutkan. Parser menyimpan judul, tanggal dan jam, rubrik, tag, pembuka singkat yang ditampilkan situs, dan tautan: cukup untuk mengikuti industri Anda, melihat seberapa sering suatu topik muncul, atau menyimpan daftar bacaan untuk buletin. Parser tidak menyalin artikel lengkap, yang menjadi milik penerbitnya; tabel menunjuk ke artikel lewat tautan. Jika situs memiliki umpan RSS, parser dapat membacanya, yang lebih ringan bagi situs. Anda mengirim tautan ke halaman rubrik dan ke satu artikel, salinan tersimpannya, dan kolom yang Anda butuhkan. Anda menjalankannya sendiri di komputer Anda. Parser hanya membaca halaman terbuka dengan kecepatan sopan, melewati apa pun di balik paywall atau masuk akun, dan tidak menyimpan komentar atau apa pun yang memuat nama pembaca.

Yang termasuk

  • Yang Anda dapatkanArsip ZIP berisi parser judul berita siap pakai dalam Python, file pengaturan dengan alamat dan jeda antar halaman, dan README; kode juga ditampilkan di halaman pesanan.
  • Kolom judul siap pakaiJudul, tanggal, rubrik, tag, pembuka, tautan
  • Tautan, bukan teks lengkapArtikel tetap milik penerbitnya
  • Beberapa situs sekaligusHingga 3 dalam satu tabel, di paket Premium
  • Kecepatan yang sopanJeda antar halaman, diatur di pengaturan
  • Panduan yang jelasMemasang Python dan menjalankannya, langkah demi langkah

Cara kerja

  1. 1
    HalamanAnda memberikan situs, rubrik, kolom, dan halaman tersimpan
  2. 2
    PenyiapanKami menyesuaikan parser siap pakai dengan halaman itu dan menulis panduannya
  3. 3
    JalankanAnda menjalankannya dan memeriksa baris pertama tabel
  4. 4
    PerubahanAnda meminta perubahan sesuai paket Anda dan mengirim pesan kesalahan apa pun

Yang kami butuhkan dari Anda

Situs berita terbuka dan halaman yang tepat: tautan ke halaman rubrik atau tag dan ke satu artikel. Kolom yang Anda butuhkan sesuai urutan tabel Anda, misalnya judul, tanggal, rubrik, pembuka, dan tautan. Satu atau dua halaman itu disimpan dari browser Anda (File > Simpan halaman sebagai) atau tangkapan layar, dan tautan RSS jika situs memilikinya. File hasil: CSV, Excel atau, di Premium, JSON. Untuk Premium, situs lain dan seberapa sering dijalankan.

Kami akan menanyakan:

  • Situs dan rubrik mana?
  • Kolom yang Anda butuhkan
  • Kata kunci yang disimpan
  • File hasil dan seberapa sering

Bandingkan paket

PaketDasarRp 272.000StandarRp 527.000PremiumRp 952.000
Yang termasukJudul dari satu halamanRubrik dan artikelHingga 3 situs berita
Tenggat1 hari2 hari3 hari
Revisi123
Situs11hingga 3
Jenis halaman12 (daftar dan item)hingga 3
Kolomhingga 10hingga 25hingga 25 di masing-masing
Melewati halaman-halaman daftarTidakYaYa
File hasilCSVExcel atau CSVExcel, CSV, atau JSON
Duplikat dihapus, dilanjutkan dari titik berhentiTidakTidakYa
Versi siap pakaiJudul beritaJudul beritaJudul berita
Pesan DasarPesan StandarPesan Premium

Perlindungan pembayaran

Anda membayar saat memesan, tetapi uangnya diteruskan hanya untuk hasil kerja yang diterima.

  • Harga pastiHarga paket tidak berubah setelah Anda membayar.
  • Uang ditahanSaat Anda membayar, jumlahnya hanya ditahan. Dana diteruskan ke Dleex setelah Anda menerima hasil kerja.
  • Diperiksa sebelum penyerahanSetiap hasil melewati pemeriksaan kualitas sebelum sampai kepada Anda, dan Anda dapat melihatnya di halaman pesanan sebelum menerimanya.
  • Revisi gratisMinta revisi sesuai brief Anda sebanyak yang diizinkan paket.
  • Diterima setelah 3 hariJika dalam 3 hari setelah penyerahan hasil Anda tidak menerima hasil kerja maupun meminta revisi, hasil kerja diterima secara otomatis. Jika Anda menulis di chat pesanan setelah penyerahan hasil, pesanan akan menunggu; setelah kami menjawab, kami dapat memulai ulang hitungan 3 hari dan akan memberitahukannya di chat.
  • Dikerjakan ulang atau pengembalian dana penuhJika hasilnya tidak sesuai brief Anda dan revisi tidak memperbaikinya, atau pengerjaan memakan waktu lebih dari dua kali tenggatnya, tulis di chat pesanan: kami akan mengerjakan ulang atau mengembalikan pembayaran secara penuh.
Cara kerjanya →

Tanya jawab

Bisakah parser menyimpan teks lengkap artikel?

Tidak. Artikel adalah karya penerbitnya. Parser menyimpan judul, pembuka singkat yang ditampilkan situs, dan tautan, sehingga Anda membaca artikelnya di situs.

Bisakah saya menerbitkan ulang judul-judul itu di situs saya?

Itu bergantung pada ketentuan penerbit dan hukum negara Anda, dan keputusannya ada pada Anda. Parser dibuat untuk pemantauan dan daftar bacaan Anda sendiri.

Bagaimana jika situs mengubah tata letaknya?

Parser bekerja sesuai halaman seperti sekarang. Setelah desain ulang, parser perlu diperbarui, yang berarti pesanan baru. Parser membaca dengan kecepatan sopan dan tidak menerobos batasan yang ditetapkan situs.

Apakah saya boleh mengumpulkan data ini?

Mengumpulkan data publik diperbolehkan dalam banyak kasus, tetapi ketentuan situs dan hukum data berbeda antar negara, jadi Anda sendiri yang memutuskan apakah boleh mengumpulkan dan memakainya. Parser tidak pernah masuk akun, menerobos perlindungan, atau mengumpulkan data pribadi.

Mengapa harganya lebih murah daripada parser pesanan khusus?

Ini adalah parser judul berita siap pakai yang umum: kolom dan cara bergerak antar halamannya sudah dirancang, dan kami menyesuaikannya dengan situs yang Anda sebutkan dan kolom Anda. Situs dan kolom yang tidak biasa adalah layanan parser pesanan khusus.

Tidak menemukan jawabannya?

Paket