Um parser em Python que transforma o catálogo aberto de um fornecedor em um arquivo de importação para a sua loja, com links das fotos

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Quando um fornecedor mostra o seu mix em um site aberto, mas não envia nenhum arquivo, este parser copia o catálogo para uma tabela que a sua loja consegue importar: nome, código, preço, descrição, especificações, categoria e links das fotos, e salva as fotos em uma pasta. Envie o site do fornecedor, links para uma categoria e uma página de produto, uma ou duas páginas salvas no seu navegador e o modelo de importação da sua loja, por exemplo um CSV da Shopify ou do WooCommerce, para as colunas seguirem esse modelo. Você recebe o código em Python com um arquivo de configurações e um README e roda no seu computador. Use só fotos e textos que o fornecedor permitir. Ele lê páginas abertas em um ritmo educado e nunca faz login, não contorna captchas nem proteções e não coleta dados pessoais. Você decide se os termos do site permitem; uma mudança futura no layout dele exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Colunas para a sua importaçãoNa ordem e com os nomes do arquivo de importação da sua loja
• Fotos prontas para carregarLinks das fotos em uma coluna e arquivos nomeados pelo código do produto
• Preços como aparecemO preço do fornecedor; a sua margem você inclui na tabela
• Ritmo educadoUma pausa entre as páginas, definida nas configurações
• Um guia simplesO que instalar e como rodar, passo a passo

Como funciona

1. 1
   CatálogoVocê passa as páginas do fornecedor e o seu modelo de importação
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   Importação de testeVocê roda e importa as primeiras linhas na sua loja
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O site do fornecedor: um link para uma categoria e para uma página de produto, e mais ou menos quantos produtos há. O modelo de importação da sua loja ou uma exportação de exemplo com alguns dos seus produtos, para as colunas baterem. Os campos de que você precisa, como nome, código, preço, descrição, especificações, categoria, fotos. Uma ou duas páginas do fornecedor salvas no seu navegador (Arquivo > Salvar página como). Como nomear os arquivos das fotos. E a sua confirmação de que o fornecedor permite usar as fotos e os textos dele.

Vamos perguntar:

• Qual site do fornecedor e quais páginas?
• A sua loja e o arquivo de importação dela
• Mais ou menos quantos produtos?
• Fotos

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte