Un parseur Python qui rassemble dans un tableau les avis produits publics : texte, note et date uniquement, sans noms

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Pour voir ce que les acheteurs aiment ou non dans vos produits ou ceux d’un concurrent, ce parseur rassemble les avis publics dans un tableau : le produit et son lien, et pour chaque avis uniquement le texte, la note et la date. Noms, pseudos, photos et liens de profil des auteurs sont exclus : le tableau ne contient aucune donnée personnelle. Envoyez le site de la boutique, une fiche produit avec des avis et une ou deux pages enregistrées depuis votre navigateur ; quand les avis s’ouvrent avec un bouton « Voir plus », le parseur le suit. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Il ne lit ni Amazon, ni Google, ni LinkedIn, ni les réseaux sociaux, ne se connecte jamais, ne contourne ni captcha ni protection, et garde un rythme raisonnable. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Trois infos par avisTexte, note et date, rien sur la personne
• Relié au produitChaque ligne d’avis porte le nom et le lien du produit
• Toutes les pages d’avisSuit « Voir plus » et les pages d’avis
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   PagesVous donnez la boutique, les produits et une page d’avis enregistrée
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et vérifiez le nombre d’avis d’un produit
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site de la boutique et les pages précises : une liste de liens produits ou un lien de catégorie, et le nombre approximatif de produits et d’avis. Les champs produit voulus en plus du texte, de la note et de la date de l’avis, ex. : nom du produit, référence, lien, note moyenne. Une ou deux pages d’avis enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV ou Excel.

Nous vous demanderons :

• Quelle boutique et quels produits ?
• Champs produit
• Combien d’avis environ ?
• Seulement certains avis ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question