Um parser em Python que reúne avaliações abertas de produtos em uma tabela: só texto, nota e data, sem nomes

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Para ver do que os compradores gostam e não gostam nos seus produtos ou nos de um concorrente, este parser reúne avaliações abertas em uma tabela: o produto e o link dele e, de cada avaliação, só o texto, a nota e a data. Nomes, apelidos, fotos e links de perfil dos autores ficam de fora, então a tabela não tem dados pessoais. Envie o site da loja, uma página de produto com avaliações e uma ou duas páginas salvas no seu navegador; quando as avaliações abrem com um botão “ver mais”, o parser o segue. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador. Ele não lê Amazon, Google, LinkedIn nem redes sociais, nunca faz login nem contorna captchas ou proteções e mantém um ritmo educado. Você decide se os termos do site permitem; uma mudança futura no layout dele exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Três dados por avaliaçãoTexto, nota e data, nada sobre a pessoa
• Ligada ao produtoCada linha de avaliação traz o nome e o link do produto
• Todas as páginas de avaliaçõesSegue o “ver mais” e as páginas de avaliações
• Ritmo educadoUma pausa entre as páginas, definida nas configurações
• Roda no seu computadorWindows, macOS ou Linux, com Python

Como funciona

1. 1
   PáginasVocê passa a loja, os produtos e uma página salva com avaliações
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e confere o número de avaliações de um produto
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O site da loja e as páginas exatas: uma lista de links de produtos ou um link de categoria, e mais ou menos quantos produtos e avaliações há. Os campos de produto de que você precisa além do texto, da nota e da data da avaliação, ex.: nome do produto, código, link, nota média. Uma ou duas páginas com avaliações salvas no seu navegador (Arquivo > Salvar página como) ou capturas de tela. CSV ou Excel.

Vamos perguntar:

• Qual loja e quais produtos?
• Campos do produto
• Mais ou menos quantas avaliações?
• Só algumas avaliações?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte