Um parser em Python que reúne preços abertos de livros em uma tabela: título, autor, ISBN, formato, preço e estoque

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Livrarias e sebos usam este parser para ver quanto as lojas online abertas cobram: título, autor como aparece no livro, ISBN, editora, ano, formato (capa dura, brochura, e-book), preço, preço antigo, em estoque e link. Com o ISBN em cada linha, você cruza os livros com a sua própria lista no Excel. Envie o site da loja, uma seção ou página de busca, uma página de livro e uma ou duas páginas salvas no seu navegador. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador sempre que for reajustar preços. Ele não coleta dados sobre leitores nem vendedores particulares. Ele lê só páginas abertas em um ritmo educado, nunca faz login nem contorna captchas ou proteções, e não lê Amazon nem Google. Você decide se os termos do site permitem; uma mudança futura no layout exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• ISBN para cruzar dadosEm uma coluna própria, pronto para um PROCV no Excel
• Preço e preço antigoComo números, com o estoque ao lado
• Formatos separadosCapa dura, brochura e e-book em linhas separadas
• Ritmo educadoUma pausa entre as páginas, definida nas configurações
• Roda no seu computadorWindows, macOS ou Linux, com Python

Como funciona

1. 1
   PáginasVocê passa a loja, uma seção e uma página de livro salva
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e confere alguns preços com a loja
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O site da livraria e as páginas exatas: um link para uma seção ou uma busca e para uma página de livro, e mais ou menos quantos livros há. Os campos na ordem da sua tabela, ex.: título, autor, ISBN, editora, ano, formato, preço, preço antigo, em estoque, link. Uma ou duas dessas páginas salvas no seu navegador (Arquivo > Salvar página como) ou capturas de tela. Sua própria lista de ISBNs, se quiser ler só esses livros.

Vamos perguntar:

• Qual loja e quais páginas?
• Os campos de que você precisa
• Mais ou menos quantos livros?
• Algo mais que ele deva fazer

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte