Een Python-parser die openbare sportuitslagen in een tabel verzamelt: datum, competitie, thuis- en uitploeg, score

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Sportmedia, fansites en analisten gebruiken deze parser om openbare uitslagen in één tabel te verzamelen: datum, competitie, speelronde, thuisploeg, uitploeg en score, plus cijfers van een wedstrijdpagina zoals schoten, corners of balbezit als de pagina die toont; of een stand met positie, gespeeld, gewonnen, gelijk, verloren en punten. Stuur de site, een uitslagenpagina, een wedstrijdpagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README, en je draait hem na elke speelronde op je computer. Hij verzamelt cijfers van clubs en wedstrijden, geen profielen van mensen, en geeft geen goktips of voorspellingen. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Score in kolommenThuis- en uitdoelpunten apart, klaar voor formules
• StandPositie, gespeeld, gewonnen, gelijk, verloren, punten
• WedstrijdcijfersSchoten, corners of balbezit als de pagina ze toont
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   Pagina'sJe geeft de site, een uitslagenpagina en een opgeslagen wedstrijdpagina
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de laatste speelronde tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site en de precieze pagina's: een link naar de uitslagen of de stand en naar één wedstrijdpagina, de competities en seizoenen die je nodig hebt, en ongeveer hoeveel wedstrijden. De velden in de volgorde van je tabel, bijv. datum, competitie, speelronde, thuisploeg, uitploeg, doelpunten thuis, doelpunten uit. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel.

We vragen je:

• Welke site en welke pagina's?
• Competities en seizoenen
• De velden die je nodig hebt
• Hoe vaak ga je hem starten?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons