Un parseur Python pour les annonces auto publiques : marque, année, kilométrage, prix et ville dans un tableau, sans coordonnées des vendeurs

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Les concessionnaires et acheteurs utilisent ce parseur pour voir le marché dans un seul tableau : marque, année, kilométrage, motorisation, boîte de vitesses, carrosserie, carburant, couleur, prix, ville, date de publication, lien et liens des photos, tirés d’annonces auto publiques. Configurez la recherche sur le site (marque, années, fourchette de prix) et envoyez ce lien, une annonce et une ou deux pages enregistrées depuis votre navigateur. Nous écrivons le code en Python d’après ces pages ; vous le recevez avec un fichier de paramètres et un README et le lancez vous-même aussi souvent que nécessaire. Les données des vendeurs restent à l’écart : ni noms, ni e-mails, ni téléphones, ni plaques d’immatriculation ni numéros VIN. Le parseur lit les pages publiques à un rythme raisonnable et ne se connecte jamais, ne contourne ni captcha ni protection. C’est à vous de juger si les conditions du site le permettent, et un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Le marché dans un tableauTriez par année, kilométrage ou prix dans Excel
• Votre lien de rechercheMarque, années et fourchette de prix réglées sur le site
• Aucune donnée vendeurNi noms, ni téléphones, ni plaques, ni VIN
• Kilométrage en nombrePrêt pour les filtres et les moyennes
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   RechercheVous envoyez un lien de recherche et une annonce enregistrée
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez quelques voitures avec le site
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site auto et un lien vers une recherche avec vos filtres, une page d’annonce et le nombre approximatif de voitures affichées par la recherche. Les champs voulus dans l’ordre de votre tableau, ex. : marque, année, kilométrage, motorisation, boîte, prix, ville, lien. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV ou Excel, et la fréquence de lancement.

Nous vous demanderons :

• Quel site et quelle recherche ?
• Les champs voulus
• Combien de voitures environ ?
• Autre chose à faire

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question