Un parseur Python qui liste chaque article d’un blog pour un audit de contenu : titre, date, mots et intertitres

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Avant de réécrire, fusionner ou supprimer d’anciens articles, il faut savoir ce que contient le blog. Ce parseur parcourt la liste publique des articles d’un blog, ouvre chacun et enregistre une ligne : lien, titre, date de publication et de mise à jour si elle est affichée, catégorie, tags, nombre de mots, nombre d’intertitres, d’images et de liens, et la meta description. Il donne le meilleur de lui-même sur votre propre blog et peut aussi lire le blog public d’un concurrent. Envoyez l’adresse du blog, un article et une ou deux pages enregistrées depuis votre navigateur. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Il donne des faits, pas des notes, et ne promet aucune position dans les moteurs de recherche. Il lit les pages publiques à un rythme raisonnable, ne se connecte jamais, ne contourne ni captcha ni protection, et exclut les noms d’auteurs. C’est à vous de juger si les conditions d’un site le permettent ; un changement ultérieur de mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Décomptes par articleMots, intertitres, images et liens
• Dates et catégoriesPublication, mise à jour, catégorie et tags
• Titre et descriptionTels qu’écrits dans la page, avec leur longueur
• Prêt pour les filtresTriez par date ou par longueur dans Excel
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres

Comment ça marche

1. 1
   BlogVous donnez l’adresse du blog et un article enregistré
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et vérifiez les décomptes de deux ou trois articles
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

L’adresse du blog et un lien vers sa liste d’articles, un article et le nombre approximatif d’articles. Les champs voulus, ex. : lien, titre, date, catégorie, tags, nombre de mots, intertitres, meta description. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous). S’il s’agit de votre blog ou d’un autre, et CSV ou Excel.

Nous vous demanderons :

• Quel blog ?
• Les champs voulus
• Combien d’articles environ ?
• Autre chose à faire

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question