Um parser em Python que reúne os preços públicos de um concorrente em uma tabela: preço, preço antigo, estoque e link

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Este parser lê as páginas públicas de produtos de um concorrente e coloca os preços em uma tabela que você pode comparar com os seus: nome do produto, código, preço, preço antigo, desconto, disponibilidade e link, com a data da verificação. Passe o site, links para uma categoria e para uma página de produto, os campos na ordem da sua tabela e uma ou duas dessas páginas salvas no seu navegador. Escrevemos o código em Python pela estrutura real delas, com um arquivo de configurações e um README. Você roda no seu computador sempre que quiser preços atualizados, e a tabela chega direto para você. Ele lê só páginas abertas, em um ritmo educado, e nunca faz login, não contorna captchas nem proteções e não coleta dados pessoais. Você decide se os termos do site permitem, e uma mudança futura no layout dele exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Colunas de preçoPreço, preço antigo e desconto como números separados
• Códigos para cruzarO código ou o código de barras do concorrente, quando a página mostra
• Data de cada verificaçãoCada linha traz a data em que foi coletada
• Ritmo educadoUma pausa entre as páginas, que você define
• Roda no seu computadorWindows, macOS ou Linux; rode de novo para ter preços atualizados

Como funciona

1. 1
   PáginasVocê passa o site do concorrente, uma categoria e uma página de produto salva
2. 2
   ParserEscrevemos o código a partir dessas páginas e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e compara as primeiras linhas com o site
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O site do concorrente e as páginas exatas: um link para uma categoria e para uma página de produto, e mais ou menos quantos produtos há. Os campos de que você precisa na ordem da sua tabela, ex.: nome, código, preço, preço antigo, disponibilidade, link. Uma ou duas dessas páginas salvas no seu navegador em HTML (Arquivo > Salvar página como) ou capturas de tela. CSV ou Excel, e onde você vai rodá-lo.

Vamos perguntar:

• Qual site do concorrente e quais páginas?
• Os campos de que você precisa
• Mais ou menos quantos produtos?
• Com que frequência você vai rodá-lo?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte