Een Python-parser die SEO-data van de pagina's van een site in een tabel opslaat: title, description, H1, status, canonical

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Vóór een verhuizing van een site of een SEO-check loopt deze parser de pagina's van een site door en slaat per pagina een rij op: adres, statuscode, title en metabeschrijving met hun lengte, H1, aantal H2's, canonical-link, noindex-tag, aantal woorden, afbeeldingen zonder alt-tekst en aantal interne links. Hij haalt de adressen uit de sitemap van de site, uit categoriepagina's of uit je eigen lijst. Gebruik hem op je eigen site of op de openbare site van een concurrent. Stuur het adres van de site, een paar pagina's opgeslagen vanuit je browser en de velden die je nodig hebt. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij verzamelt feiten, repareert de site niet en belooft geen posities in zoekmachines. Hij leest alleen openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van een site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Tags en hun lengteTitle en description met aantal tekens
• StatuscodesVind kapotte en doorgestuurde pagina's
• Ontbrekende alt-tekstTelt afbeeldingen zonder alt-tekst
• Uit de sitemap of jouw lijstAdressen uit de sitemap, categorieën of een bestand dat je geeft
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen

Hoe het werkt

1. 1
   SiteJe geeft de site, de bron van de adressen en opgeslagen pagina's
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert een paar rijen in je browser
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

Het adres van de site en waar de parser de adressen vandaan moet halen: de sitemap, categoriepagina's of je eigen lijst. Ongeveer hoeveel pagina's het zijn. De velden die je nodig hebt, bijv. adres, statuscode, title, description, H1, canonical, noindex, aantal woorden, afbeeldingen zonder alt. Twee of drie pagina's van verschillende soorten opgeslagen vanuit je browser (Bestand > Pagina opslaan als). CSV of Excel.

We vragen je:

• Welke site?
• Waar komen de adressen vandaan?
• De velden die je nodig hebt
• Ongeveer hoeveel pagina's?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons