Un parseur Python pour les avis d’appels d’offres et de marchés publics : acheteur, objet, prix et date limite dans un tableau

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Les fournisseurs qui répondent à des marchés utilisent ce parseur pour voir les avis publics dans un seul tableau : numéro de l’avis, objet, organisme acheteur, région, type de procédure, prix de départ et devise, date de publication, date limite, statut et lien. Lancez une recherche sur la plateforme de marchés publics avec vos mots-clés ou codes, puis envoyez ce lien, une page d’avis et une ou deux pages enregistrées depuis votre navigateur. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur chaque matin ou selon vos besoins. Les personnes à contacter sont exclues : ni noms, ni e-mails, ni téléphones. Il ne se connecte pas, ne télécharge pas les documents réservés à un compte, ne contourne ni captcha ni protection et ne dépose pas d’offres, et il garde un rythme raisonnable. C’est à vous de juger si les conditions de la plateforme le permettent ; un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Des dates limites triablesDates dans un même format, prêtes à trier par date limite
• Prix de départ en nombreAvec la devise dans sa propre colonne
• Vos mots-clésPart de la recherche que vous configurez sur la plateforme
• Sans personnes à contacterSeulement l’organisme acheteur, ni noms ni téléphones
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres

Comment ça marche

1. 1
   RechercheVous configurez la recherche et envoyez son lien et un avis enregistré
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez les avis du jour avec la plateforme
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

La plateforme de marchés publics et un lien vers une recherche avec vos mots-clés, codes ou régions, une page d’avis et le nombre approximatif d’avis affichés par la recherche. Les champs dans l’ordre de votre tableau, ex. : numéro, objet, acheteur, région, prix de départ, devise, publication, date limite, lien. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV ou Excel.

Nous vous demanderons :

• Quelle plateforme et quelle recherche ?
• Mots-clés, codes ou régions
• Les champs voulus
• À quelle fréquence allez-vous le lancer ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question