Een Python-parser die elk artikel van een blog opsomt voor een contentaudit: titel, datum, woorden en tussenkoppen

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Voordat je oude berichten herschrijft, samenvoegt of verwijdert, heb je een lijst nodig van wat de blog bevat. Deze parser loopt het openbare artikeloverzicht van een blog door, opent elk bericht en slaat een rij op: link, titel, publicatie- en bijwerkdatum als die getoond worden, categorie, tags, aantal woorden, aantal tussenkoppen, afbeeldingen en links, en de metabeschrijving. Hij werkt het best op je eigen blog en kan ook de openbare blog van een concurrent lezen. Stuur het adres van de blog, één artikel en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij geeft feiten, geen scores, en belooft geen posities in zoekmachines. Hij leest openbare pagina's in een rustig tempo, logt nooit in, omzeilt geen captcha's of beveiliging en laat auteursnamen weg. Jij bepaalt of de voorwaarden van een site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Tellingen per artikelWoorden, tussenkoppen, afbeeldingen en links
• Data en categorieënGepubliceerd, bijgewerkt, categorie en tags
• Titel en beschrijvingZoals ze in de pagina staan, met hun lengte
• Klaar voor filtersSorteer in Excel op datum of lengte
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen

Hoe het werkt

1. 1
   BlogJe geeft het adres van de blog en één opgeslagen artikel
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de tellingen van twee of drie berichten
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

Het adres van de blog en een link naar het artikeloverzicht, één artikel en ongeveer hoeveel berichten het zijn. De velden die je nodig hebt, bijv. link, titel, datum, categorie, tags, aantal woorden, tussenkoppen, metabeschrijving. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als). Of het je eigen blog is of een andere, en CSV of Excel.

We vragen je:

• Welke blog?
• De velden die je nodig hebt
• Ongeveer hoeveel artikelen?
• Wat moet hij nog meer doen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons