Parser Python untuk katalog kursus online terbuka: judul, lembaga, harga, durasi, dan format dalam tabel

Contoh hasil

def product_links(list_url: str) -> Iterator[str]:
    """Tautan halaman produk dari setiap halaman daftar, mengikuti tombol 'Berikutnya'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Satu halaman terbuka, dengan kecepatan sopan: jeda antarpermintaan dan beberapa kali coba saat error."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s menjawab %s, percobaan %d dari 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} tidak terbuka setelah 3 percobaan")

Tentang layanan ini

Sekolah online, agregator kursus, dan orang yang membandingkan pelatihan memakai parser ini untuk memasukkan katalog kursus terbuka ke dalam tabel: judul kursus, lembaga, topik, level, format, durasi, tanggal mulai, harga dan harga lama, jumlah pelajaran, rating seperti yang ditampilkan, dan tautan. Kirimkan halaman katalog, satu halaman kursus, dan satu atau dua halaman yang disimpan dari browser Anda. Anda menerima kode Python, file pengaturan, dan README, lalu menjalankannya di komputer Anda. Parser menyalin apa yang tertulis di halaman; parser tidak menilai kualitas kursus atau menjanjikan hasil pelatihan. Nama pengajar dan ulasan siswa tidak disertakan, sehingga tabel tidak memuat data pribadi. Parser membaca halaman terbuka dengan kecepatan sopan dan tidak pernah login atau mengakali captcha maupun perlindungan. Anda yang memutuskan apakah ketentuan situs mengizinkannya; perubahan tata letak situs di kemudian hari membutuhkan pembaruan.

Yang termasuk

• Yang Anda dapatkanArsip ZIP berisi kode Python, file pengaturan, dan README dengan petunjuk langkah demi langkah; kodenya juga ditampilkan di halaman pesanan.
• Harga untuk dibandingkanHarga, harga lama, dan cicilan sebagai kolom terpisah
• Durasi dan formatMinggu atau jam, langsung atau rekaman, seperti tertulis di halaman
• Topik dan levelDi kolom terpisah untuk filter
• Kecepatan sopanJeda antarhalaman, diatur di pengaturan
• Berjalan di komputer AndaWindows, macOS, atau Linux, dengan Python

Cara kerja

1. 1
   KatalogAnda mengirim katalog dan satu halaman kursus yang disimpan
2. 2
   ParserKami menulis kode dan panduan menjalankannya
3. 3
   JalankanAnda menjalankannya dan mencocokkan beberapa kursus dengan situsnya
4. 4
   RevisiAnda meminta revisi sesuai paket dan mengirim pesan error jika ada

Yang kami butuhkan dari Anda

Situs dan halaman persisnya: tautan ke katalog kursus dan ke satu halaman kursus, serta kira-kira berapa banyak kursusnya. Field sesuai urutan tabel Anda, mis. judul, lembaga, topik, level, format, durasi, tanggal mulai, harga, harga lama, tautan. Satu atau dua halaman tersebut yang disimpan dari browser Anda (File > Save page as) atau screenshot. CSV atau Excel.

Kami akan menanyakan:

• Situs dan halaman mana?
• Field yang Anda butuhkan
• Kira-kira berapa banyak kursus?
• Hanya sebagian kursus?

Bandingkan paket

Tanya jawab

Tidak menemukan jawabannya? Tanyakan kepada kami