Un parseur Python qui rassemble dans un tableau les titres d’actualité publics : titre, date, rubrique, chapô et lien

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Chargés de relations presse, analystes et rédacteurs utilisent ce parseur pour tenir un tableau de ce que publient les sites d’actualité publics : titre, date et heure, rubrique, tags, le court chapô affiché dans la liste et le lien. Envoyez les pages de liste d’actualités que vous suivez, une page d’article et une ou deux pages enregistrées depuis votre navigateur. Vous recevez un code Python avec un fichier de paramètres et un README, et vous le lancez sur votre ordinateur chaque fois que vous voulez une liste à jour. Il prend les titres et les chapôs, pas les articles entiers, car les textes appartiennent à leurs éditeurs, et il exclut les signatures, pour que le tableau ne contienne aucun nom de personne. Il lit les pages publiques à un rythme raisonnable et ne se connecte jamais, ne contourne ni paywall, ni captcha, ni protection. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Titre et chapôTels que la liste d’actualités les affiche
• Date dans un seul formatPour trier et filtrer par jour
• Uniquement vos sujetsUn filtre facultatif sur les mots que vous listez
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   SourcesVous donnez les listes d’actualités et une page d’article enregistrée
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez les titres du jour avec le site
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Les sites d’actualité et les pages de liste ou rubriques précises que vous suivez, et une page d’article de chacun. Les champs voulus, ex. : titre, date, heure, rubrique, tags, chapô, lien. Les mots à garder ou à écarter, si vous voulez un filtre. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. La fréquence de lancement, et CSV ou Excel.

Nous vous demanderons :

• Quels sites d’actualité et quelles rubriques ?
• Les champs voulus
• Mots à garder
• À quelle fréquence allez-vous le lancer ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question