Un parseur Python pour un annuaire d’entreprises public : nom, catégorie, ville, adresse et site web, sans coordonnées personnelles

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Pour une étude de marché ou une liste de partenaires potentiels, ce parseur recopie un annuaire professionnel public dans un tableau : nom de l’entreprise, catégorie, ville, adresse, lien du site web, courte description, horaires d’ouverture et lien vers la page de l’entreprise dans l’annuaire. Il ne collecte aucune coordonnée personnelle : ni noms de propriétaires, de dirigeants ou de salariés, ni e-mails, ni numéros de téléphone ; le tableau n’est donc pas une liste d’envoi ou d’appels. Envoyez le site de l’annuaire, une page de catégorie, une page d’entreprise et une ou deux pages enregistrées depuis votre navigateur. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Il lit les pages publiques à un rythme raisonnable, ne se connecte jamais, ne contourne ni captcha ni protection, et ne lit ni Google Maps, ni LinkedIn, ni les réseaux sociaux. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Des entreprises, pas des personnesNi noms, ni e-mails, ni numéros de téléphone
• Catégorie et villeDans des colonnes séparées pour les filtres
• Lien du site webPour visiter le site de chaque entreprise
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   AnnuaireVous donnez l’annuaire, une catégorie et une page d’entreprise enregistrée
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez les premières entreprises avec le site
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site de l’annuaire et les pages précises : un lien vers une catégorie (et une ville, si le site a ce filtre) et vers une page d’entreprise, et le nombre approximatif d’entreprises. Les champs dans l’ordre de votre tableau, ex. : nom, catégorie, ville, adresse, site web, description. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV ou Excel.

Nous vous demanderons :

• Quel annuaire et quelles pages ?
• Catégories et villes
• Les champs voulus
• Combien d’entreprises environ ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question