Açık haber başlıklarını bir tabloya toplayan Python parser'ı: başlık, tarih, bölüm, kısa özet ve bağlantı

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Halkla ilişkiler uzmanları, analistler ve editörler bu parser ile açık haber sitelerinin yayımladıklarının tablosunu tutar: başlık, tarih ve saat, bölüm, etiketler, listede gösterilen kısa özet ve bağlantı. Takip ettiğiniz haber listesi sayfalarını, bir haber sayfasını ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Bir ayar dosyası ve README ile Python kodu alırsınız ve yeni bir liste istediğinizde onu bilgisayarınızda çalıştırırsınız. Metinler yayıncılarına ait olduğundan haberlerin tamamını değil, başlıkları ve özetleri alır; yazar adlarını da dışarıda bırakır, böylece tabloda hiçbir kişinin adı yer almaz. Açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, ödeme duvarlarını, CAPTCHA'ları ya da korumaları aşmaz. Sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sitenin düzeni sonradan değişirse güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Başlık ve özetHaber listesinde göründükleri gibi
• Tek bir biçimde tarihBöylece güne göre sıralayıp filtreleyebilirsiniz
• Yalnızca sizin konularınızListelediğiniz kelimelere göre isteğe bağlı bir filtre
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi
• Bilgisayarınızda çalışırPython yüklü Windows, macOS ya da Linux

Nasıl çalışır

1. 1
   KaynaklarHaber listelerini ve kaydedilmiş bir haber sayfasını verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve bugünün başlıklarını siteyle karşılaştırırsınız
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Haber siteleri ve takip ettiğiniz tam liste sayfaları ya da bölümler ve her birinden bir haber sayfası. İhtiyacınız olan alanlar, ör. başlık, tarih, saat, bölüm, etiketler, özet, bağlantı. Filtre istiyorsanız tutulacak ya da çıkarılacak kelimeler. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. Ne sıklıkla çalıştıracağınız ve CSV mi Excel mi olacağı.

Size soracaklarımız:

• Hangi haber siteleri ve bölümler?
• İhtiyacınız olan alanlar
• Tutulacak kelimeler
• Ne sıklıkla çalıştıracaksınız?

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun