Bir podcast'in bölümlerini açık sitesinden listeleyen Python parser'ı: numara, başlık, tarih, süre ve bağlantı

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Yeni bir siteye geçen podcast sahipleri, bölüm notu editörleri ve araştırmacılar bu parser ile bölümleri bir tabloda listeler: numara, sezon, başlık, tarih, süre, kısa açıklama, konular ya da etiketler, bölüm sayfasının bağlantısı ve sayfa gösteriyorsa ses bağlantısı. Programın kendi açık sitesini ya da çoğu podcast'te bulunan açık RSS feed'ini okur. Bölüm listesi sayfasını, bir bölüm sayfasını ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Python kodu, bir ayar dosyası ve README alırsınız ve onu bilgisayarınızda çalıştırırsınız. Ses dosyalarını değil, bağlantıları kaydeder ve konukların adları için bir sütunu yoktur. Siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da korumaları aşmaz ve sosyal ağları veya hesap gerektiren dinleme uygulamalarını okumaz. Sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sonradan bir düzen değişikliği olursa güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Sırasıyla bölümlerNumara, sezon ve tarih ayrı sütunlarda
• Dakika olarak süreSayfa ya da feed gösteriyorsa
• Bölüm ve ses bağlantılarıYalnızca bağlantılar, ses dosyası yok
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi
• Bilgisayarınızda çalışırPython yüklü Windows, macOS ya da Linux

Nasıl çalışır

1. 1
   ProgramBölüm listesini ya da feed'i ve kaydedilmiş bir bölüm sayfasını verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve en son bölümleri siteyle karşılaştırırsınız
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Podcast'in sitesi ve bölüm listesine bir bağlantı ya da açık RSS feed adresi, bir bölüm sayfası ve yaklaşık kaç bölüm olduğu. Tablonuzdaki sırayla alanlar, ör. numara, sezon, başlık, tarih, süre, açıklama, etiketler, bölüm bağlantısı, ses bağlantısı. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. CSV, Excel ya da JSON.

Size soracaklarımız:

• Hangi podcast?
• İhtiyacınız olan alanlar
• Yaklaşık kaç bölüm?
• Sonuç dosyası

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun