Parser de titres d'actualitéPrêts à l'emploi

Un parser Python prêt à l'emploi des titres de sites d'actualité ouverts : titre, date, rubrique, court chapeau et lien

Généralement prêt en 15 minutesRetouches inclusesContrôle qualité
Formules
Paiement protégéEn savoir plus
  • Les retouches prévues par la formule sont gratuites.
  • Sans réponse de votre part dans les 3 jours suivant la livraison, le travail est validé automatiquement.

L’argent est réservé au paiement et versé uniquement une fois le travail validé.

Un parser Python prêt à l'emploi des titres de sites d'actualité ouverts : titre, date, rubrique, court chapeau et lien

Exemple de résultat

Exemple pour la formule Standard

Parseur du catalogue d’un fournisseur d’outils de jardin vers Excel

À quoi ressemble le résultat

RéférenceNomPrixEn stockPoidsPhoto
GT-1042Sécateur, 20 mm18,90Oui0,24 kg…/gt-1042.jpg
GT-1187Scie pliante, 210 mm24,50Oui0,31 kg…/gt-1187.jpg
GT-2210Cisaille à haies, lame ondulée39,00Non1,10 kg…/gt-2210.jpg
GT-3305Transplantoir, inox9,80Oui0,18 kg…/gt-3305.jpg
GT-4120Tuyau d’arrosage 25 m, 1/2"42,00Oui2,90 kg…/gt-4120.jpg

Le fichier de l’exemple contient 1 236 produits issus de 52 pages de liste.

Un extrait du code

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

Fichiers : une archive ZIP avec scraper.py, settings.ini (la page de départ, la pause entre les requêtes, le nom du fichier), requirements.txt et un README sur l’installation et le lancement. Il ne lit que des pages publiques, une toutes les 2 secondes, et consulte d’abord le robots.txt du site. Le client le lance sur son propre ordinateur.

Client : une jardinerie en ligne qui revend les outils d’un fournisseur ; celui-ci a un catalogue public sur son site, mais aucun fichier de tarifs. Tâche : parcourir les pages de liste du catalogue, ouvrir chaque fiche produit et enregistrer dans Excel la référence, le nom, le prix, le stock, le poids et le lien de la photo principale, pour comparer les prix une fois par semaine.

Le client et tous les détails sont fictifs.

À propos de ce service

Un parser de titres d'actualité prêt à l'emploi : un parser Python type déjà au point pour les pages d'actualité, adapté au site ou à la rubrique d'actualité ouverts que vous nommez. Il enregistre le titre, la date et l'heure, la rubrique, les mots-clés, le court chapeau que montre le site et le lien : de quoi suivre votre secteur, voir à quelle fréquence un sujet revient ou tenir une liste de lectures pour une newsletter. Il ne copie pas les articles complets, qui appartiennent à leurs éditeurs ; le tableau y renvoie par un lien. Si le site a un flux RSS, le parser peut le lire, ce qui est plus doux pour le site. Vous envoyez des liens vers une page de rubrique et un article, des copies enregistrées de ces pages et les champs dont vous avez besoin. Vous le lancez vous-même sur votre ordinateur. Il ne lit que des pages ouvertes à un rythme poli, ignore tout ce qui est derrière un paywall ou une connexion et n'enregistre ni commentaires ni rien qui porte des noms de lecteurs.

Ce qui est inclus

  • Ce que vous recevezUne archive ZIP avec le parser de titres d'actualité prêt à l'emploi en Python, un fichier de paramètres avec les adresses et la pause entre les pages, et un README ; le code est aussi affiché sur la page de la commande.
  • Champs de titres prêtsTitre, date, rubrique, mots-clés, chapeau, lien
  • Des liens, pas des textes completsLes articles restent chez leurs éditeurs
  • Plusieurs sites ensembleJusqu'à 3 dans un tableau, en formule Premium
  • Rythme poliUne pause entre les pages, réglée dans les paramètres
  • Un guide clairInstaller Python et le lancer, pas à pas

Comment ça marche

  1. 1
    PagesVous donnez le site, la rubrique, les champs et des pages enregistrées
  2. 2
    Mise en placeNous adaptons le parser prêt à l'emploi à ces pages et écrivons le guide
  3. 3
    LancementVous le lancez et vérifiez les premières lignes du tableau
  4. 4
    RetouchesVous demandez des retouches dans le cadre de votre formule et envoyez tout message d'erreur

Ce dont nous avons besoin

Le site d'actualité ouvert et les pages exactes : un lien vers une page de rubrique ou de mot-clé et vers un article. Les champs dont vous avez besoin dans l'ordre de votre tableau, par exemple titre, date, rubrique, chapeau et lien. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer sous) ou des captures d'écran, et le lien RSS si le site en a un. Le fichier de résultats : CSV, Excel ou, en formule Premium, JSON. Pour la formule Premium, les autres sites et la fréquence de lancement.

Nous vous demanderons :

  • Quel site et quelle rubrique ?
  • Les champs dont vous avez besoin
  • Mots-clés à garder
  • Fichier de résultats et fréquence

Comparer les formules

FormulesEssentiel15 €Standard28 €Premium50 €
Ce qui est inclusTitres depuis une pageRubrique et articlesJusqu'à 3 sites d'actualité
Délai1 jour2 jours3 jours
Retouches123
Sites11jusqu'à 3
Types de pages12 (liste et fiche)jusqu'à 3
Champsjusqu'à 10jusqu'à 25jusqu'à 25 sur chacune
Parcourt les pages d'une listeNonOuiOui
Fichier de résultatsCSVExcel ou CSVExcel, CSV ou JSON
Doublons supprimés, reprend là où il s'est arrêtéNonNonOui
Version prête à l'emploiTitres d'actualitéTitres d'actualitéTitres d'actualité
Commander EssentielCommander StandardCommander Premium

Paiement protégé

Vous payez à la commande, mais l’argent n’est versé que pour un travail validé.

  • Prix fixeLe prix de la formule ne change pas après le paiement.
  • L’argent est réservéAu paiement, le montant est seulement réservé. Il n’est versé à Dleex qu’une fois le travail validé.
  • Vérifié avant livraisonChaque résultat passe un contrôle qualité avant de vous parvenir, et vous le voyez sur la page de la commande avant de le valider.
  • Retouches gratuitesDemandez des retouches dans le cadre de votre brief autant de fois que la formule le permet.
  • Validation au bout de 3 joursSi, dans les 3 jours suivant la livraison, vous n’avez ni validé le travail ni demandé de retouches, il est validé automatiquement. Si vous écrivez dans le chat de la commande après la livraison, la commande est mise en attente ; après notre réponse, nous pourrons relancer le délai de 3 jours et vous le signalerons dans le chat.
  • Travail refait ou remboursement intégralSi le résultat ne correspond pas à votre brief et que les retouches n’y ont rien changé, ou si le travail prend plus du double du délai prévu, écrivez dans le chat de la commande : nous referons le travail ou vous rembourserons intégralement.
Comment ça marche →

Questions et réponses

Peut-il enregistrer le texte complet des articles ?

Non. Les articles sont le travail des éditeurs. Le parser enregistre le titre, le court chapeau que montre le site et le lien, pour que vous lisiez l'article sur le site.

Puis-je republier les titres sur mon site ?

Cela dépend des conditions de l'éditeur et de la loi de votre pays, et la décision vous appartient. Le parser est conçu pour votre propre veille et vos listes de lectures.

Et si le site change sa mise en page ?

Le parser fonctionne d'après les pages telles qu'elles sont aujourd'hui. Après une refonte, il faut une mise à jour, qui est une nouvelle commande. Il lit à un rythme poli et ne contourne pas les limites fixées par un site.

Ai-je le droit de collecter ces données ?

Collecter des données publiques est permis dans de nombreux cas, mais les conditions des sites et les lois sur les données diffèrent selon les pays : c'est donc à vous de décider si vous pouvez les collecter et les utiliser. Le parser ne se connecte jamais, ne contourne aucune protection et ne collecte pas de données personnelles.

Pourquoi coûte-t-il moins cher qu'un parser sur mesure ?

C'est un parser de titres d'actualité type, prêt à l'emploi : ses champs et sa façon de parcourir les pages sont déjà au point, et nous l'adaptons au site que vous nommez et à vos colonnes. Les sites et champs inhabituels relèvent du service de parser sur mesure.

Vous n’avez pas trouvé la réponse ?

Formules