Un parseur Python qui rassemble les caractéristiques de produits de pages publiques en colonnes pour les comparer côte à côte

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Les boutiques qui remplissent leurs propres fiches produits et les acheteurs qui hésitent entre plusieurs produits utilisent ce parseur pour transformer les tableaux de caractéristiques de fiches produits publiques en colonnes : nom, référence, prix et chaque caractéristique, comme dimensions, poids, puissance, matière ou garantie, dans sa propre colonne avec l’unité à part. Les produits listent des caractéristiques différentes : vous nommez donc celles qui vous intéressent, dans la limite de champs de votre formule ; celles qui manquent restent des cellules vides. Envoyez le site, une catégorie, deux fiches produits enregistrées depuis votre navigateur et votre liste de caractéristiques. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Les caractéristiques sont copiées telles que la page les écrit ; nous ne les vérifions ni ne les complétons. Il lit les pages publiques à un rythme raisonnable et ne se connecte jamais, ne contourne ni captcha ni protection. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Une caractéristique, une colonnePrêt pour comparer les produits côte à côte
• Unités à partex. : 1200 et W dans des colonnes séparées
• Votre liste de caractéristiquesSeulement les caractéristiques que vous nommez, dans votre ordre
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   PagesVous donnez le site, deux fiches produits enregistrées et votre liste de caractéristiques
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et vérifiez les caractéristiques de deux produits
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site et les pages précises : un lien vers une catégorie et vers deux fiches produits aux caractéristiques différentes, et le nombre approximatif de produits. Votre liste de caractéristiques dans l’ordre de votre tableau, écrites comme le site les écrit, et si les unités vont dans des colonnes séparées. Deux pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV ou Excel.

Nous vous demanderons :

• Quel site et quelles pages ?
• Votre liste de caractéristiques
• Combien de produits environ ?
• Unités

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question