Un parseur Python qui rassemble des prix de livres publics dans un tableau : titre, auteur, ISBN, format, prix et stock

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Libraires et vendeurs d’occasion utilisent ce parseur pour voir les prix pratiqués par des boutiques en ligne publiques : titre, auteur tel qu’imprimé sur le livre, ISBN, éditeur, année, format (relié, broché, livre numérique), prix, ancien prix, disponibilité et lien. Avec l’ISBN sur chaque ligne, vous pouvez rapprocher les livres de votre propre liste dans Excel. Envoyez le site de la boutique, une page de rayon ou de recherche, une page de livre et une ou deux pages enregistrées depuis votre navigateur. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur chaque fois que vous révisez vos prix. Il ne collecte aucune donnée sur les lecteurs ou les vendeurs particuliers. Il ne lit que des pages publiques, à un rythme raisonnable, ne se connecte jamais, ne contourne ni captcha ni protection, et ne lit ni Amazon ni Google. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de sa mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• ISBN pour le rapprochementDans sa propre colonne, prêt pour une recherche dans Excel
• Prix et ancien prixEn nombres, avec le stock à côté
• Formats séparésRelié, broché et livre numérique sur des lignes distinctes
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   PagesVous donnez la boutique, un rayon et une page de livre enregistrée
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et comparez quelques prix avec la boutique
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site de la librairie et les pages précises : un lien vers un rayon ou une recherche et vers une page de livre, et le nombre approximatif de livres. Les champs dans l’ordre de votre tableau, ex. : titre, auteur, ISBN, éditeur, année, format, prix, ancien prix, disponibilité, lien. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous) ou des captures d’écran. Votre propre liste d’ISBN, si vous ne voulez lire que ces livres.

Nous vous demanderons :

• Quelle boutique et quelles pages ?
• Les champs voulus
• Combien de livres environ ?
• Autre chose à faire

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question