Un parseur Python qui rassemble dans un tableau les prix publics d’un concurrent : prix, ancien prix, stock et lien

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Ce parseur lit les pages produits publiques d’un concurrent et place leurs prix dans un tableau à comparer avec les vôtres : nom du produit, référence, prix, ancien prix, remise, disponibilité et lien, avec la date du relevé. Donnez-nous le site, des liens vers une catégorie et une fiche produit, les champs dans l’ordre de votre tableau et une ou deux de ces pages enregistrées depuis votre navigateur. Nous écrivons le code en Python d’après leur vraie structure, avec un fichier de paramètres et un README. Vous le lancez sur votre ordinateur chaque fois que vous voulez des prix à jour, et le tableau arrive directement chez vous. Il ne lit que des pages publiques, à un rythme raisonnable, et ne se connecte jamais, ne contourne ni captcha ni protection et ne collecte aucune donnée personnelle. C’est à vous de juger si les conditions du site le permettent, et un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Colonnes de prixPrix, ancien prix et remise en nombres séparés
• Références pour le rapprochementLa référence ou le code-barres du concurrent, quand la page l’affiche
• Date de chaque relevéChaque ligne porte la date de sa collecte
• Rythme raisonnableUne pause entre les pages, que vous fixez
• Tourne sur votre ordinateurWindows, macOS ou Linux ; relancez-le pour des prix à jour

Comment ça marche

1. 1
   PagesVous donnez le site du concurrent, une catégorie et une fiche produit enregistrée
2. 2
   ParseurNous écrivons le code d’après ces pages et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez les premières lignes avec le site
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site du concurrent et les pages précises : un lien vers une catégorie et vers une fiche produit, et le nombre approximatif de produits. Les champs voulus dans l’ordre de votre tableau, ex. : nom, référence, prix, ancien prix, disponibilité, lien. Une ou deux de ces pages enregistrées depuis votre navigateur en HTML (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV ou Excel, et l’endroit où vous le lancerez.

Nous vous demanderons :

• Quel site concurrent et quelles pages ?
• Les champs voulus
• Combien de produits environ ?
• À quelle fréquence allez-vous le lancer ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question