Um parser em Python que salva as imagens de um catálogo aberto em uma pasta, nomeadas pelo código do produto, com uma tabela

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Quando você leva o seu próprio catálogo para uma nova loja, ou um fornecedor permite usar as fotos dos produtos dele, este parser salva as imagens das páginas abertas do catálogo em uma pasta e nomeia cada arquivo pelo código do produto, com uma tabela que liga código, nome do produto, link da imagem e nome do arquivo. Envie o site, uma categoria e uma página de produto, uma ou duas páginas salvas no seu navegador e como nomear os arquivos. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador, então os arquivos chegam direto para você. Salve só imagens que você pode usar: as suas, ou as que o dono autorizar. Os arquivos são salvos como o site os fornece. Ele lê páginas abertas em um ritmo educado e nunca faz login nem contorna captchas ou proteções. Você decide se os termos do site permitem; uma mudança futura de layout exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Arquivos nomeados do seu jeitoPelo código do produto, com _1, _2, _3 para fotos extras
• Uma tabela juntoCódigo, nome do produto, link da imagem e nome do arquivo
• A maior versãoQuando a página tem link para uma imagem maior, ele pega essa
• Ritmo educadoUma pausa entre as páginas, definida nas configurações
• Roda no seu computadorWindows, macOS ou Linux, com Python

Como funciona

1. 1
   PáginasVocê passa o catálogo, uma página de produto salva e os nomes dos arquivos
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e confere a primeira pasta de imagens
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O site e as páginas exatas: um link para uma categoria e para uma página de produto, e mais ou menos quantos produtos e imagens há. Como nomear os arquivos, ex.: pelo código do produto com _1, _2. Os campos da tabela de que você precisa além do nome do arquivo. Uma ou duas dessas páginas salvas no seu navegador (Arquivo > Salvar página como). E a sua confirmação de que as imagens são suas ou de que o dono permite que você as use.

Vamos perguntar:

• Qual site e quais páginas?
• Como nomear os arquivos
• Mais ou menos quantas imagens?
• De quem são as imagens?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte