Açık bir online kurs kataloğu için Python parser'ı: ad, okul, fiyat, süre ve format bir tabloda

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Online okullar, kurs platformları ve eğitimleri karşılaştıran kişiler bu parser ile açık bir kurs kataloğunu bir tabloya koyar: kurs adı, okul, konu, seviye, format, süre, başlangıç tarihi, fiyat ve eski fiyat, ders sayısı, gösterildiği şekliyle puan ve bağlantı. Katalog sayfasını, bir kurs sayfasını ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Python kodu, bir ayar dosyası ve README alırsınız ve onu bilgisayarınızda çalıştırırsınız. Sayfalarda yazanı kopyalar; kursların kalitesini değerlendirmez ya da eğitimin sonuçlarını vaat etmez. Eğitmenlerin adları ve öğrenci yorumları dışarıda bırakılır; böylece tabloda hiçbir kişisel veri yer almaz. Açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da korumaları aşmaz. Sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sitenin düzeni sonradan değişirse güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Karşılaştırılacak fiyatlarFiyat, eski fiyat ve taksit ayrı sütunlarda
• Süre ve formatSayfada yazdığı gibi hafta ya da saat, canlı ya da kayıtlı
• Konu ve seviyeFiltreler için ayrı sütunlarda
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi
• Bilgisayarınızda çalışırPython yüklü Windows, macOS ya da Linux

Nasıl çalışır

1. 1
   KatalogKataloğu ve kaydedilmiş bir kurs sayfasını verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve birkaç kursu siteyle karşılaştırırsınız
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Site ve tam sayfalar: kurs kataloğuna ve bir kurs sayfasına bağlantı ve yaklaşık kaç kurs olduğu. Tablonuzdaki sırayla alanlar, ör. ad, okul, konu, seviye, format, süre, başlangıç tarihi, fiyat, eski fiyat, bağlantı. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. CSV ya da Excel.

Size soracaklarımız:

• Hangi site ve sayfalar?
• İhtiyacınız olan alanlar
• Yaklaşık kaç kurs?
• Yalnızca bazı kurslar mı?

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun