Un parseur Python pour un catalogue public de formations en ligne : titre, école, prix, durée et format dans un tableau

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Écoles en ligne, agrégateurs de formations et personnes qui comparent des formations utilisent ce parseur pour mettre un catalogue public de formations dans un tableau : titre de la formation, école, thème, niveau, format, durée, date de début, prix et ancien prix, nombre de leçons, note telle qu’affichée et lien. Envoyez la page du catalogue, une page de formation et une ou deux pages enregistrées depuis votre navigateur. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur. Il copie ce que disent les pages ; il ne juge pas la qualité des formations et ne promet aucun résultat. Les noms des formateurs et les avis des élèves sont exclus : le tableau ne contient donc aucune donnée personnelle. Il lit les pages publiques à un rythme raisonnable et ne se connecte jamais, ne contourne ni captcha ni protection. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Des prix à comparerPrix, ancien prix et paiement échelonné dans des colonnes séparées
• Durée et formatSemaines ou heures, en direct ou enregistré, comme l’indique la page
• Thème et niveauDans des colonnes séparées pour les filtres
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   CatalogueVous donnez le catalogue et une page de formation enregistrée
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez quelques formations avec le site
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site et les pages précises : un lien vers le catalogue de formations et vers une page de formation, et le nombre approximatif de formations. Les champs dans l’ordre de votre tableau, ex. : titre, école, thème, niveau, format, durée, date de début, prix, ancien prix, lien. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. CSV ou Excel.

Nous vous demanderons :

• Quel site et quelles pages ?
• Les champs voulus
• Combien de formations environ ?
• Seulement certaines formations ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question