İçerik denetimi için bir blogun tüm yazılarını listeleyen Python parser'ı: başlık, tarih, kelime sayısı ve alt başlıklar

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Eski yazıları yeniden yazmadan, birleştirmeden ya da silmeden önce blogda neler olduğunun bir listesine ihtiyacınız var. Bu parser bir blogun açık yazı listesinde gezinir, her yazıyı açar ve bir satır kaydeder: bağlantı, başlık, gösteriliyorsa yayın ve güncelleme tarihi, kategori, etiketler, kelime sayısı, alt başlık, görsel ve bağlantı sayısı ve meta açıklama. En iyi kendi blogunuzda çalışır, bir rakibin açık blogunu da okuyabilir. Blog adresini, bir yazıyı ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Python kodu, bir ayar dosyası ve README alırsınız ve onu bilgisayarınızda çalıştırırsınız. Puan değil, olgular verir ve arama sıralaması vaat etmez. Açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da korumaları aşmaz ve yazar adlarını dışarıda bırakır. Bir sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sonradan bir düzen değişikliği olursa güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Yazı başına sayılarKelimeler, alt başlıklar, görseller ve bağlantılar
• Tarihler ve kategorilerYayın, güncelleme, kategori ve etiketler
• Başlık ve açıklamaSayfada yazıldığı gibi, uzunluklarıyla
• Filtrelere hazırExcel'de tarihe ya da uzunluğa göre sıralayın
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi

Nasıl çalışır

1. 1
   BlogBlog adresini ve kaydedilmiş bir yazıyı verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve iki üç yazının sayılarını kontrol edersiniz
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Blog adresi ve yazı listesine bir bağlantı, bir yazı ve yaklaşık kaç yazı olduğu. İhtiyacınız olan alanlar, ör. bağlantı, başlık, tarih, kategori, etiketler, kelime sayısı, alt başlıklar, meta açıklama. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi. Blogun sizin mi yoksa başka birinin mi olduğu ve CSV mi Excel mi olacağı.

Size soracaklarımız:

• Hangi blog?
• İhtiyacınız olan alanlar
• Yaklaşık kaç yazı?
• Yapması gereken başka bir şey

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun