Um parser em Python que compara preços dos mesmos produtos em 3 lojas online abertas em uma só tabela

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Este parser coloca lado a lado os preços dos mesmos produtos em até três lojas online abertas: uma linha por produto, com o preço, o preço antigo, o estoque e o link de cada loja, e a data da verificação. As três lojas vêm no Premium; o Básico e o Padrão leem uma loja, como começo ou teste. Os produtos são cruzados por um código que as lojas mostram, como o código de barras ou o código de peça do fabricante, ou pelos links que você listar para cada produto: só os nomes variam demais para cruzar com segurança. Envie os sites, uma página de produto de cada um salva no seu navegador e a sua lista de produtos. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador. Ele lê páginas abertas em um ritmo educado, nunca faz login nem contorna captchas ou proteções, e não lê Amazon nem Google. Você decide se os termos das lojas permitem; uma mudança futura no layout exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Uma linha por produtoPreço, estoque e link de cada loja lado a lado
• Cruzado por código ou pelos seus linksCódigo de barras, código de peça do fabricante ou links que você listar
• Data da verificaçãoEm toda linha, para comparar as execuções
• Ritmo educadoUma pausa entre as páginas, definida nas configurações
• Roda no seu computadorWindows, macOS ou Linux, com Python

Como funciona

1. 1
   LojasVocê passa as lojas, as páginas de produto salvas e a sua lista de produtos
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e confere algumas linhas em cada loja
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

As três lojas (ou uma, no Básico e no Padrão) e uma página de produto de cada, salva no seu navegador (Arquivo > Salvar página como). Sua lista de produtos com o código que as lojas mostram, como o código de barras, ou uma tabela com o link de cada produto em cada loja. Os campos de que você precisa por loja, ex.: preço, preço antigo, em estoque, link. Mais ou menos quantos produtos. CSV, Excel ou JSON.

Vamos perguntar:

• Quais lojas?
• Como cruzar os produtos
• Os campos por loja
• Mais ou menos quantos produtos?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte