Un parseur Python qui enregistre les images d’un catalogue public dans un dossier, nommées par référence produit, avec un tableau

Exemple de résultat

def product_links(list_url: str) -> Iterator[str]:
    """Liens des fiches produits de chaque page de la liste, en suivant « Suivant »."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Une page publique, à un rythme raisonnable : une pause entre les requêtes et quelques essais en cas d’erreur."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s a répondu %s, essai %d sur 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ne s’est pas ouverte après 3 essais")

À propos de ce service

Quand vous transférez votre propre catalogue vers une nouvelle boutique, ou qu’un fournisseur vous autorise à utiliser ses photos produits, ce parseur enregistre les images de pages de catalogue publiques dans un dossier et nomme chaque fichier d’après la référence produit, avec un tableau qui relie référence, nom du produit, lien de l’image et nom de fichier. Envoyez le site, une catégorie et une fiche produit, une ou deux pages enregistrées depuis votre navigateur et la façon de nommer les fichiers. Vous recevez un code Python, un fichier de paramètres et un README et le lancez sur votre ordinateur : les fichiers arrivent donc directement chez vous. N’enregistrez que des images que vous pouvez utiliser : les vôtres, ou celles que leur propriétaire autorise. Les fichiers sont enregistrés tels que le site les fournit. Il lit les pages publiques à un rythme raisonnable et ne se connecte jamais, ne contourne ni captcha ni protection. C’est à vous de juger si les conditions du site le permettent ; un changement ultérieur de mise en page demande une mise à jour.

Ce qui est inclus

• Ce que vous recevezUne archive ZIP avec le code Python, un fichier de paramètres et un README avec des instructions pas à pas ; le code est aussi affiché sur la page de la commande.
• Fichiers nommés à votre façonPar référence produit, avec _1, _2, _3 pour les photos supplémentaires
• Un tableau qui les accompagneRéférence, nom du produit, lien de l’image et nom de fichier
• La plus grande versionQuand la page renvoie vers une image plus grande, il prend celle-ci
• Rythme raisonnableUne pause entre les pages, réglée dans les paramètres
• Tourne sur votre ordinateurWindows, macOS ou Linux, avec Python

Comment ça marche

1. 1
   PagesVous donnez le catalogue, une fiche produit enregistrée et les noms de fichiers
2. 2
   ParseurNous écrivons le code et le guide pour le lancer
3. 3
   LancementVous le lancez et parcourez le premier dossier d’images
4. 4
   RetouchesVous demandez des retouches selon votre formule et envoyez les éventuels messages d’erreur

Ce dont nous avons besoin

Le site et les pages précises : un lien vers une catégorie et vers une fiche produit, et le nombre approximatif de produits et d’images. La façon de nommer les fichiers, ex. : par référence produit avec _1, _2. Les champs du tableau voulus en plus du nom de fichier. Une ou deux de ces pages enregistrées depuis votre navigateur (Fichier > Enregistrer la page sous). Et votre confirmation que les images sont à vous ou que leur propriétaire vous autorise à les utiliser.

Nous vous demanderons :

• Quel site et quelles pages ?
• Comment nommer les fichiers
• Combien d’images environ ?
• À qui appartiennent les images ?

Comparer les formules

Questions et réponses

Vous n’avez pas trouvé la réponse ? Posez-nous la question