Een Python-parser die openbare nieuwskoppen in een tabel verzamelt: kop, datum, rubriek, korte intro en link

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Pr-mensen, analisten en redacteuren gebruiken deze parser om een tabel bij te houden van wat openbare nieuwssites publiceren: kop, datum en tijd, rubriek, tags, de korte intro die in het overzicht staat en de link. Stuur de nieuwsoverzichten die je volgt, één nieuwspagina en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code met een instellingenbestand en een README, en je draait hem op je computer wanneer je een vers overzicht wilt. Hij neemt koppen en intro's, geen hele artikelen, want de teksten zijn van hun uitgevers, en hij laat auteursnamen weg, dus de tabel bevat geen namen van mensen. Hij leest openbare pagina's in een rustig tempo en logt nooit in, omzeilt geen betaalmuren, captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Kop en introZoals het nieuwsoverzicht ze toont
• Datum in één formaatZodat je per dag kunt sorteren en filteren
• Alleen jouw onderwerpenEen optioneel filter op woorden die jij opgeeft
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   BronnenJe geeft de nieuwsoverzichten en één opgeslagen nieuwspagina
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de koppen van vandaag tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De nieuwssites en de precieze overzichtspagina's of rubrieken die je volgt, en één nieuwspagina van elke site. De velden die je nodig hebt, bijv. kop, datum, tijd, rubriek, tags, intro, link. Woorden om te bewaren of weg te laten, als je een filter wilt. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. Hoe vaak je hem gaat starten, en CSV of Excel.

We vragen je:

• Welke nieuwssites en rubrieken?
• De velden die je nodig hebt
• Woorden om te bewaren
• Hoe vaak ga je hem starten?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons