Een Python-parser die openbare wissel- en cryptokoersen in een tabel opslaat met het tijdstip van elke meting

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Wisselkantoren, winkels die in meerdere valuta prijzen en boekhouders gebruiken deze parser om koersen van openbare pagina's in een tabel op te slaan: valuta of munt, aankoop- en verkoopkoers, officiële koers, verandering over de dag als die getoond wordt, de bron en het tijdstip van de meting. Stuur de pagina's waar je koersen vandaan haalt, zoals de openbare koerstabel van een bank, en een of twee daarvan opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer wanneer je een meting nodig hebt. Koersen worden overgenomen zoals de pagina ze op dat moment toont: het is geen livefeed en hij geeft geen financieel advies of voorspellingen. Heeft een bron een officiële open datafeed, dan zeggen we dat. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Aankoop en verkoop apartAparte kolommen, als getallen
• Tijdstip van elke metingDatum en tijd in elke rij
• Bron in een kolomZodat koersen van verschillende pagina's gescheiden blijven
• Rustig tempoNiet elke seconde: een pauze die jij instelt
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   BronnenJe geeft de koerspagina's en de valuta of munten
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en vergelijkt de eerste meting met de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De pagina's waar je koersen vandaan haalt, met links, en de valuta of munten die je nodig hebt. De velden in de volgorde van je tabel, bijv. valuta, aankoop, verkoop, officiële koers, verandering, bron, tijd. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. Hoe vaak je een meting nodig hebt, de getalnotatie (punt of komma), en CSV of Excel.

We vragen je:

• Welke pagina's?
• Valuta of munten
• De velden die je nodig hebt
• Hoe vaak ga je hem starten?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons