Un parseur Python qui compare dans un seul tableau les prix des mêmes produits dans 3 boutiques en ligne publiques

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Ce parseur met côte à côte les prix des mêmes produits dans jusqu’à trois boutiques en ligne publiques : une ligne par produit, avec pour chaque boutique le prix, l’ancien prix, le stock et le lien, et la date du relevé. Les trois boutiques sont incluses dans Premium ; Essentiel et Standard lisent une seule boutique, pour démarrer ou pour tester. Les produits sont rapprochés par un code affiché par les boutiques, comme un code-barres ou une référence fabricant, ou par les liens que vous listez pour chaque produit : les noms seuls diffèrent trop pour un rapprochement sûr. Envoyez les sites, une fiche produit de chacun enregistrée depuis votre navigateur et votre liste de produits. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Il lit les pages publiques à un rythme raisonnable, ne se connecte jamais, ne contourne ni captcha ni protection, et ne lit ni Amazon ni Google. C’est à vous de juger si les conditions des boutiques le permettent ; un changement ultérieur de mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Une ligne par produitPrix, stock et lien de chaque boutique côte à côte
• Rapprochés par code ou par vos liensCode-barres, référence fabricant ou liens que vous listez
• Date du relevéSur chaque ligne, pour comparer les lancements
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   BoutiquesVous donnez les boutiques, des fiches produits enregistrées et votre liste de produits
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et vérifiez quelques lignes dans chaque boutique
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Les trois boutiques (ou une, pour Essentiel et Standard) et une fiche produit de chacune, enregistrée depuis votre navigateur (Fichier > Enregistrer la page sous). Votre liste de produits avec le code affiché par les boutiques, comme un code-barres, ou un tableau avec le lien de chaque produit dans chaque boutique. Les champs voulus par boutique, ex. : prix, ancien prix, disponibilité, lien. Le nombre approximatif de produits. CSV, Excel ou JSON.

Nous vous demanderons :

• Quelles boutiques ?
• Comment rapprocher les produits
• Les champs par boutique
• Combien de produits environ ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question