Een Python-parser die openbare evenementen- en concertagenda's in een tabel verzamelt: datum, locatie, stad, prijs en link

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Stadsgidsen, podia en organisatoren gebruiken deze parser om openbare evenementen in één tabel te verzamelen: titel, categorie, datum en begintijd, locatie, stad, prijs vanaf, leeftijdsgrens, ticketlink en link naar de afbeelding. Stuur de agendapagina van de site, zoals een podium, een stadsgids of een ticketsite, één evenementpagina en een of twee pagina's opgeslagen vanuit je browser. Wij schrijven de code in Python; je krijgt hem met een instellingenbestand en een README en draait hem op je computer voordat je je eigen agenda bijwerkt. Hij koopt geen tickets, controleert geen vrije plaatsen en verzamelt geen persoonsgegevens van organisatoren of bezoekers. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan, en een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Data om te sorterenDatum en tijd in één formaat, zodat de tabel per dag sorteert
• TicketlinksEen link naar de eigen pagina of ticketpagina van het evenement
• Links naar afbeeldingenPosters als links; gebruik ze alleen als dat mag
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   AgendaJe geeft de agendapagina en één opgeslagen evenementpagina
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de data van de eerste evenementen
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site en de precieze pagina's: een link naar de agenda en naar één evenementpagina, en ongeveer hoeveel evenementen het zijn. De velden die je nodig hebt in de volgorde van je tabel, bijv. titel, categorie, datum, tijd, locatie, stad, prijs vanaf, link. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. Het datumformaat dat je wilt en CSV of Excel.

We vragen je:

• Welke site en welke pagina's?
• De velden die je nodig hebt
• Ongeveer hoeveel evenementen?
• Alleen bepaalde evenementen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons