Un parseur Python qui enregistre les données SEO des pages d’un site dans un tableau : title, description, H1, statut, canonical

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Avant une migration de site ou un contrôle SEO, ce parseur parcourt les pages d’un site et enregistre une ligne pour chacune : adresse, code de réponse, title et meta description avec leur longueur, H1, nombre de H2, lien canonical, balise noindex, nombre de mots, images sans texte alternatif et nombre de liens internes. Il prend les adresses dans le fichier sitemap du site, dans les pages de catégorie ou dans votre propre liste. Utilisez-le sur votre propre site ou sur le site public d’un concurrent. Envoyez l’adresse du site, quelques pages enregistrées depuis votre navigateur et les champs voulus. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Il collecte des faits, ne corrige pas le site et ne promet aucun positionnement dans les moteurs de recherche. Il ne lit que des pages publiques, à un rythme raisonnable, et ne se connecte jamais, ne contourne ni captcha ni protection. C’est à vous de juger si les conditions d’un site le permettent ; un changement ultérieur de mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Balises et longueurTitle et description avec le nombre de caractères
• Codes de réponseRepérez les pages cassées et redirigées
• Texte alternatif manquantCompte les images sans texte alternatif
• Depuis le sitemap ou votre listeAdresses tirées du fichier sitemap, des catégories ou d’un fichier que vous donnez
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres

Comment ça marche

1. 1
   SiteVous donnez le site, la source des adresses et des pages enregistrées
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et vérifiez quelques lignes dans votre navigateur
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

L’adresse du site et l’endroit où le parseur doit prendre les adresses : le fichier sitemap, les pages de catégorie ou votre propre liste. Le nombre approximatif de pages. Les champs voulus, ex. : adresse, code de réponse, title, description, H1, canonical, noindex, nombre de mots, images sans alt. Deux ou trois pages de types différents enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous). CSV ou Excel.

Nous vous demanderons :

• Quel site ?
• Où prendre les adresses
• Les champs voulus
• Combien de pages environ ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question