Parser sitemapSiap Pakai

Parser Python siap pakai yang membaca sitemap.xml sebuah situs dan menyimpan judul, deskripsi, dan H1 setiap halaman

Biasanya selesai dalam 15 menitTermasuk revisiPemeriksaan kualitas
Paket
Perlindungan pembayaranSelengkapnya
  • Revisi dalam batas paket tidak dikenai biaya.
  • Jika Anda tidak merespons dalam 3 hari setelah penyerahan hasil, hasil kerja diterima secara otomatis.

Uang ditahan saat Anda membayar dan diteruskan hanya setelah Anda menerima hasil kerja.

Parser Python siap pakai yang membaca sitemap.xml sebuah situs dan menyimpan judul, deskripsi, dan H1 setiap halaman

Contoh hasil

Contoh untuk paket Standar

Parser katalog pemasok alat berkebun ke Excel

Seperti apa hasilnya

ArtikelNamaHargaTersediaBeratFoto
GT-1042Gunting dahan, 20 mm18,90Ya0,24 kg…/gt-1042.jpg
GT-1187Gergaji lipat, 210 mm24,50Ya0,31 kg…/gt-1187.jpg
GT-2210Gunting pagar tanaman, mata bergelombang39,00Tidak1,10 kg…/gt-2210.jpg
GT-3305Sekop tangan, baja tahan karat9,80Ya0,18 kg…/gt-3305.jpg
GT-4120Selang taman 25 m, 1/2"42,00Ya2,90 kg…/gt-4120.jpg

File dalam contoh ini berisi 1.236 produk dari 52 halaman daftar.

Sebagian kode

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

File: arsip ZIP berisi scraper.py, settings.ini (halaman awal, jeda antarpermintaan, nama file), requirements.txt, dan README tentang cara memasang dan menjalankannya. Parser hanya membaca halaman terbuka, satu halaman setiap 2 detik, dan lebih dulu memeriksa robots.txt situs. Klien menjalankannya di komputernya sendiri.

Klien: toko online perlengkapan kebun yang menjual kembali alat dari seorang pemasok; pemasok punya katalog terbuka di situsnya, tetapi tidak punya file daftar harga. Tugas: menelusuri halaman-halaman daftar katalog, membuka setiap halaman produk, dan menyimpan nomor artikel, nama, harga, stok, berat, serta tautan foto utama ke Excel, untuk membandingkan harga seminggu sekali.

Klien dan semua datanya fiktif.

Tentang layanan ini

Parser sitemap siap pakai: parser Python umum yang sudah dirancang untuk file sitemap.xml, disiapkan untuk situs yang Anda sebutkan, milik Anda sendiri atau situs terbuka mana pun. Parser membaca daftar alamat dari sitemap, membuka setiap halaman, dan menyimpan apa yang Anda butuhkan untuk inventarisasi: alamat, tanggal di sitemap, status respons, judul, meta description, H1 dan, mulai paket Standar, canonical, jumlah judul H2, jumlah kata, dan gambar tanpa teks alt. Tabel langsung menunjukkan halaman mana yang tidak punya judul, deskripsi ganda, atau H1 yang hilang, yang membantu sebelum desain ulang, pemindahan, atau tinjauan SEO. Anda mengirim situs dan kolom yang Anda butuhkan. Anda menjalankannya di komputer Anda sendiri. Parser hanya melihat halaman dalam sitemap yang terbuka bagi pengunjung, tidak menilai SEO atau memberi saran, dan tidak menjanjikan posisi di pencarian.

Yang termasuk

  • Yang Anda dapatkanArsip ZIP berisi parser sitemap siap pakai dalam Python, file pengaturan dengan alamat dan jeda antar halaman, dan README; kode juga ditampilkan di halaman pesanan.
  • Dari sitemapSetiap alamat yang tercantum di sitemap.xml
  • Kolom halaman siap pakaiStatus, judul, deskripsi, H1, dan lainnya
  • Kekosongan mudah terlihatJudul kosong atau berulang menonjol di tabel
  • Kecepatan yang sopanJeda antar halaman, diatur di pengaturan
  • Panduan yang jelasMemasang Python dan menjalankannya, langkah demi langkah

Cara kerja

  1. 1
    HalamanAnda memberikan situs, sitemap-nya, dan kolom yang Anda butuhkan
  2. 2
    PenyiapanKami menyesuaikan parser siap pakai dengan halaman itu dan menulis panduannya
  3. 3
    JalankanAnda menjalankannya dan memeriksa baris pertama tabel
  4. 4
    PerubahanAnda meminta perubahan sesuai paket Anda dan mengirim pesan kesalahan apa pun

Yang kami butuhkan dari Anda

Situs dan alamat sitemap.xml-nya, biasanya di /sitemap.xml, dan kira-kira berapa halaman yang dimilikinya. Kolom yang Anda butuhkan sesuai urutan tabel Anda, misalnya alamat, status, judul, deskripsi, H1 dan, mulai paket Standar, canonical dan jumlah kata. File hasil: CSV, Excel atau, di Premium, JSON. Untuk Premium, situs lain yang dibandingkan dan seberapa sering dijalankan.

Kami akan menanyakan:

  • Situs mana?
  • Kolom yang Anda butuhkan
  • Kira-kira berapa halaman?
  • File hasil dan situs lain

Bandingkan paket

PaketDasarRp 272.000StandarRp 561.000PremiumRp 986.000
Yang termasukJudul halaman yang terdaftarIndeks sitemap dan halamanHingga 3 situs
Tenggat1 hari2 hari3 hari
Revisi123
Situs11hingga 3
Jenis halaman12 (daftar dan item)hingga 3
Kolomhingga 10hingga 25hingga 25 di masing-masing
Melewati halaman-halaman daftarTidakYaYa
File hasilCSVExcel atau CSVExcel, CSV, atau JSON
Duplikat dihapus, dilanjutkan dari titik berhentiTidakTidakYa
Versi siap pakaiSitemap dan judul halamanSitemap dan judul halamanSitemap dan judul halaman
Pesan DasarPesan StandarPesan Premium

Perlindungan pembayaran

Anda membayar saat memesan, tetapi uangnya diteruskan hanya untuk hasil kerja yang diterima.

  • Harga pastiHarga paket tidak berubah setelah Anda membayar.
  • Uang ditahanSaat Anda membayar, jumlahnya hanya ditahan. Dana diteruskan ke Dleex setelah Anda menerima hasil kerja.
  • Diperiksa sebelum penyerahanSetiap hasil melewati pemeriksaan kualitas sebelum sampai kepada Anda, dan Anda dapat melihatnya di halaman pesanan sebelum menerimanya.
  • Revisi gratisMinta revisi sesuai brief Anda sebanyak yang diizinkan paket.
  • Diterima setelah 3 hariJika dalam 3 hari setelah penyerahan hasil Anda tidak menerima hasil kerja maupun meminta revisi, hasil kerja diterima secara otomatis. Jika Anda menulis di chat pesanan setelah penyerahan hasil, pesanan akan menunggu; setelah kami menjawab, kami dapat memulai ulang hitungan 3 hari dan akan memberitahukannya di chat.
  • Dikerjakan ulang atau pengembalian dana penuhJika hasilnya tidak sesuai brief Anda dan revisi tidak memperbaikinya, atau pengerjaan memakan waktu lebih dari dua kali tenggatnya, tulis di chat pesanan: kami akan mengerjakan ulang atau mengembalikan pembayaran secara penuh.
Cara kerjanya →

Tanya jawab

Bagaimana jika situs tidak punya sitemap?

Berikan daftar alamat dalam file teks sebagai gantinya; parser membacanya dengan cara yang sama. Parser tidak menelusuri seluruh situs tautan demi tautan.

Apakah parser akan memberi tahu cara memperbaiki SEO saya?

Tidak. Parser memberi Anda data dalam tabel; apa yang diubah adalah keputusan Anda atau tugas audit SEO. Tidak ada yang bisa menjanjikan posisi di pencarian.

Berapa lama untuk situs yang besar?

Parser membaca halaman dengan kecepatan sopan dengan jeda yang Anda atur, jadi situs dengan beberapa ribu halaman butuh satu jam atau lebih. Di Premium, parser dilanjutkan dari titik berhenti.

Apakah saya boleh mengumpulkan data ini?

Mengumpulkan data publik diperbolehkan dalam banyak kasus, tetapi ketentuan situs dan hukum data berbeda antar negara, jadi Anda sendiri yang memutuskan apakah boleh mengumpulkan dan memakainya. Parser tidak pernah masuk akun, menerobos perlindungan, atau mengumpulkan data pribadi.

Mengapa harganya lebih murah daripada parser pesanan khusus?

Ini adalah parser sitemap siap pakai yang umum: kolom dan cara bergerak antar halamannya sudah dirancang, dan kami menyesuaikannya dengan situs yang Anda sebutkan dan kolom Anda. Situs dan kolom yang tidak biasa adalah layanan parser pesanan khusus.

Tidak menemukan jawabannya?

Paket