SitemapparserKant-en-klaar

Een kant-en-klare Python-parser die de sitemap.xml van een site leest en van elke pagina de titel, beschrijving en H1 opslaat

Meestal klaar in 15 minutenRevisies inbegrepenKwaliteitscontrole
Pakketten
BetaalbeschermingDetails
  • Revisies binnen het pakket zijn gratis.
  • Reageer je niet binnen 3 dagen na levering, dan wordt het werk automatisch goedgekeurd.

Het geld wordt bij betaling gereserveerd en pas vrijgegeven als je het werk goedkeurt.

Een kant-en-klare Python-parser die de sitemap.xml van een site leest en van elke pagina de titel, beschrijving en H1 opslaat

Voorbeeldresultaat

Voorbeeld voor het pakket Standaard

Parser of a garden tools supplier's catalog into Excel

What the result looks like

ArticleNamePriceIn stockWeightPhoto
GT-1042Pruning shears, 20 mm18.90Yes0.24 kg…/gt-1042.jpg
GT-1187Folding saw, 210 mm24.50Yes0.31 kg…/gt-1187.jpg
GT-2210Hedge shears, wavy blade39.00No1.10 kg…/gt-2210.jpg
GT-3305Hand trowel, stainless9.80Yes0.18 kg…/gt-3305.jpg
GT-4120Garden hose 25 m, 1/2"42.00Yes2.90 kg…/gt-4120.jpg

The file in the example has 1,236 products from 52 list pages.

A part of the code

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.

Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.

De klant en alle details zijn verzonnen.

Over deze dienst

Een kant-en-klare sitemapparser: een typische Python-parser die al is uitgewerkt voor sitemap.xml-bestanden, ingesteld voor de site die je noemt, je eigen of een willekeurige open site. Hij leest de lijst met adressen uit de sitemap, opent elke pagina en slaat op wat je nodig hebt voor een inventarisatie: het adres, de datum in de sitemap, de responsstatus, titel, metabeschrijving, H1 en, vanaf Standaard, canonical, het aantal H2-koppen, het aantal woorden en afbeeldingen zonder alt-tekst. De tabel laat meteen zien welke pagina's geen titel hebben, een dubbele beschrijving of een ontbrekende H1, wat helpt vóór een herontwerp, een verhuizing of een SEO-controle. Je stuurt de site en de velden die je nodig hebt. Je voert hem uit op je eigen computer. Hij ziet alleen pagina's in de sitemap die voor bezoekers open zijn, beoordeelt geen SEO, geeft geen advies en belooft geen posities in zoekmachines.

Wat is inbegrepen

  • Wat je krijgtEen ZIP-archief met de kant-en-klare sitemapparser in Python, een instellingenbestand met de adressen en de pauze tussen pagina's, en een README; de code staat ook op de bestelpagina.
  • Uit de sitemapElk adres uit sitemap.xml
  • Paginavelden klaarStatus, titel, beschrijving, H1 en meer
  • Hiaten makkelijk te zienLege of herhaalde titels vallen op in de tabel
  • Beleefd tempoEen pauze tussen pagina's, ingesteld in de instellingen
  • Een heldere handleidingPython installeren en uitvoeren, stap voor stap

Hoe het werkt

  1. 1
    Pagina'sJe geeft de site, de sitemap en de velden die je nodig hebt
  2. 2
    InrichtingWij stemmen de kant-en-klare parser af op die pagina's en schrijven de handleiding
  3. 3
    UitvoerenJe voert hem uit en controleert de eerste rijen van de tabel
  4. 4
    AanpassingenJe vraagt om aanpassingen binnen je pakket en stuurt eventuele foutmeldingen

Wat we van je nodig hebben

De site en het adres van de sitemap.xml, meestal op /sitemap.xml, en ongeveer hoeveel pagina's hij heeft. De velden die je nodig hebt in de volgorde van je tabel, bijvoorbeeld adres, status, titel, beschrijving, H1 en, vanaf Standaard, canonical en aantal woorden. Het resultatenbestand: CSV, Excel of, in Premium, JSON. Voor Premium de andere sites om te vergelijken en hoe vaak hij moet draaien.

We vragen je:

  • Welke site?
  • De velden die je nodig hebt
  • Ongeveer hoeveel pagina's?
  • Resultatenbestand en andere sites

Pakketten vergelijken

PakkettenBasis€ 15Standaard€ 30Premium€ 52
Wat is inbegrepenTitels van pagina's uit de lijstSitemapindex en pagina'sMaximaal 3 sites
Levertijd1 dag2 dagen3 dagen
Revisies123
Sites11maximaal 3
Soorten pagina12 (lijst en item)maximaal 3
Veldenmaximaal 10maximaal 25maximaal 25 per soort
Gaat door de pagina's van een lijstNoJaJa
ResultatenbestandCSVExcel of CSVExcel, CSV of JSON
Dubbelen verwijderd, hervat waar hij stopteNoNoJa
Kant-en-klare versieSitemap en paginatitelsSitemap en paginatitelsSitemap en paginatitels
Bestellen BasisBestellen StandaardBestellen Premium

Betaalbescherming

Je betaalt bij het bestellen, maar het geld wordt alleen vrijgegeven voor goedgekeurd werk.

  • Vaste prijsDe prijs van het pakket verandert niet meer nadat je hebt betaald.
  • Het geld wordt gereserveerdBij betaling wordt het bedrag alleen gereserveerd. Het gaat pas naar de dienst als je het werk goedkeurt.
  • Gecontroleerd vóór leveringElk resultaat doorloopt een kwaliteitscontrole voordat het bij jou komt, en je ziet het op de bestelpagina voordat je het goedkeurt.
  • Gratis revisiesVraag wijzigingen binnen je briefing aan, zo vaak als het pakket toestaat.
  • Goedkeuring na 3 dagenKeur je het werk binnen 3 dagen na levering niet goed en vraag je ook geen wijzigingen, dan wordt het automatisch goedgekeurd. Schrijf je na levering in de chat van de bestelling, dan wacht de bestelling; zodra we hebben geantwoord, kunnen we de 3 dagen opnieuw laten ingaan en melden we dat in de chat.
  • Opnieuw doen of volledige terugbetalingPast het resultaat niet bij je briefing en hebben de revisies dat niet opgelost, of duurt het werk meer dan twee keer zo lang als de levertijd, schrijf dan in de chat van de bestelling: we doen het werk opnieuw of betalen het volledige bedrag terug.
Hoe het werkt →

Vragen en antwoorden

Wat als de site geen sitemap heeft?

Geef dan in plaats daarvan een lijst met adressen in een tekstbestand; de parser leest ze op dezelfde manier. Hij doorzoekt niet de hele site link voor link.

Vertelt hij me hoe ik mijn SEO verbeter?

Nee. Hij geeft je de gegevens in een tabel; wat je verandert is aan jou of een taak voor een SEO-audit. Niemand kan posities in zoekmachines beloven.

Hoe lang duurt een grote site?

Hij leest pagina's in een beleefd tempo met een pauze die jij instelt, dus een site van een paar duizend pagina's duurt een uur of langer. In Premium hervat hij waar hij stopte.

Mag ik deze gegevens verzamelen?

Openbare gegevens verzamelen is in veel gevallen toegestaan, maar de voorwaarden van sites en gegevenswetten verschillen per land, dus jij beslist of je ze mag verzamelen en gebruiken. De parser logt nooit in, omzeilt geen beveiliging en verzamelt geen persoonsgegevens.

Waarom kost het minder dan een parser op maat?

Het is een kant-en-klare, typische sitemapparser: de velden en de manier waarop hij door pagina's gaat zijn al uitgewerkt, en wij stemmen hem af op de site die je noemt en jouw kolommen. Ongebruikelijke sites en velden zijn de dienst voor parsers op maat.

Staat je antwoord er niet bij?

Pakketten