Açık etkinlik ve konser listelerini bir tabloya toplayan Python parser'ı: tarih, mekân, şehir, fiyat ve bağlantı

Örnek sonuç

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Bu hizmet hakkında

Şehir rehberleri, mekânlar ve organizatörler bu parser ile açık etkinlik listelerini tek bir tabloda toplar: etkinlik adı, kategori, tarih ve başlangıç saati, mekân, şehir, başlangıç fiyatı, yaş sınırı, bilet bağlantısı ve görsel bağlantısı. Sitenin etkinlik listesi sayfasını (ör. bir mekânın, bir şehir rehberinin ya da bir bilet sitesinin), bir etkinlik sayfasını ve tarayıcınızdan kaydedilmiş bir ya da iki sayfayı gönderin. Kodu Python'da yazarız; onu bir ayar dosyası ve README ile alır, kendi takviminizi güncellemeden önce bilgisayarınızda çalıştırırsınız. Bilet satın almaz, boş koltukları kontrol etmez ya da organizatörlerin veya ziyaretçilerin kişisel verilerini toplamaz. Açık sayfaları siteyi yormayan bir hızda okur; asla oturum açmaz, CAPTCHA'ları ya da korumaları aşmaz. Sitenin koşullarının buna izin verip vermediğine siz karar verirsiniz; sitenin düzeni sonradan değişirse güncelleme gerekir.

Neler dahil

• Neler alırsınızPython kodunu, bir ayar dosyasını ve adım adım talimatlar içeren bir README dosyasını barındıran bir ZIP arşivi; kod sipariş sayfasında da gösterilir.
• Sıralayabileceğiniz tarihlerTarih ve saat tek bir biçimde; böylece tablo güne göre sıralanır
• Bilet bağlantılarıEtkinliğin kendi sayfasına ya da bilet sayfasına bir bağlantı
• Görsel bağlantılarıAfişler bağlantı olarak; yalnızca izniniz varsa kullanın
• Nazik hızSayfalar arasında, ayarlardan belirlenen bir bekleme süresi
• Bilgisayarınızda çalışırPython yüklü Windows, macOS ya da Linux

Nasıl çalışır

1. 1
   Etkinlik listesiEtkinlik listesi sayfasını ve kaydedilmiş bir etkinlik sayfasını verirsiniz
2. 2
   ParserKodu ve çalıştırma kılavuzunu yazarız
3. 3
   ÇalıştırmaÇalıştırır ve ilk etkinliklerin tarihlerini kontrol edersiniz
4. 4
   DeğişikliklerPaketiniz kapsamında değişiklik ister, varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Site ve tam sayfalar: etkinlik listesine ve bir etkinlik sayfasına bağlantı ve yaklaşık kaç etkinlik olduğu. Tablonuzdaki sırayla ihtiyacınız olan alanlar, ör. ad, kategori, tarih, saat, mekân, şehir, başlangıç fiyatı, bağlantı. Tarayıcınızdan kaydedilmiş (Dosya > Sayfayı farklı kaydet) bu sayfalardan bir ya da ikisi veya ekran görüntüleri. İstediğiniz tarih biçimi ve CSV mi Excel mi olacağı.

Size soracaklarımız:

• Hangi site ve sayfalar?
• İhtiyacınız olan alanlar
• Yaklaşık kaç etkinlik?
• Yalnızca bazı etkinlikler mi?

Paketleri karşılaştırın

Sorular ve yanıtlar

Yanıtınızı bulamadınız mı? Bize sorun