Un parseur de sites web en Python qui collecte des données publiques de pages en CSV ou Excel : prix, catalogues, annonces

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Un parseur collecte des données visibles sur des pages web publiques et les enregistre sous forme de tableau : prix et stock de produits, catalogue d’un fournisseur pour votre boutique, annonces, offres d’emploi, événements ou articles. Indiquez-nous le site et les pages, listez les champs voulus (nom, prix, lien, image, etc.) et envoyez une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. Nous écrivons le parseur en Python d’après la vraie structure de ces pages, et il enregistre les résultats en CSV, Excel ou JSON. Vous recevez une archive avec le code, un fichier de paramètres avec les adresses et la pause entre les pages, et un README qui explique comment installer Python et le lancer. Vous lancez le parseur sur votre propre ordinateur : les données arrivent donc directement chez vous ; nous ne les collectons pas pour vous et ne les conservons pas. Il ne lit que des pages publiques, à un rythme raisonnable, et ne se connecte jamais, ne contourne ni captcha ni autre protection et ne collecte aucune donnée personnelle comme les noms, e-mails ou numéros de téléphone des personnes. Quand un site change sa mise en page, le parseur peut demander une mise à jour. Le droit de collecter et d’utiliser les données d’un site selon ses conditions relève de votre responsabilité.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Vos champs, votre tableauDes colonnes dans l’ordre voulu
• Construit sur les vraies pagesÉcrit d’après la structure des pages que vous envoyez
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python
• Un guide simpleQuoi installer et comment le lancer, pas à pas

Comment ça marche

1. 1
   PagesVous donnez le site, les champs et une ou deux pages enregistrées
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et vérifiez les premières lignes du tableau
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site et les pages précises : un lien vers une liste et vers une page d’élément, et le nombre approximatif de pages. Les champs voulus, dans l’ordre de votre tableau, avec un exemple pour chacun. Une ou deux de ces pages enregistrées depuis votre navigateur en HTML (Fichier > Enregistrer la page sous) ou des captures d’écran, pour que le parseur suive leur vraie structure. Le fichier de résultats voulu (CSV, Excel ou JSON) et l’endroit où vous le lancerez.

Nous vous demanderons :

• Quel site et quelles pages ?
• Les champs voulus
• Combien de pages environ ?
• Le fichier de résultats
• Autre chose à faire

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question