Parser de manchetes de notíciasProntos para uso

Um parser Python pronto de manchetes de sites de notícias abertos: manchete, data, seção, breve resumo e link

Normalmente fica pronto em 15 minutosAjustes incluídosControle de qualidade
Pacotes
Pagamento protegidoDetalhes
  • Os ajustes previstos no pacote são gratuitos.
  • Se você não responder em 3 dias após a entrega, o trabalho é aprovado automaticamente.

O dinheiro fica reservado no pagamento e só é liberado quando você aprova o trabalho.

Um parser Python pronto de manchetes de sites de notícias abertos: manchete, data, seção, breve resumo e link

Exemplo de resultado

Exemplo do pacote Padrão

Parser do catálogo de um fornecedor de ferramentas de jardinagem para o Excel

Como fica o resultado

ArtigoNomePreçoEm estoquePesoFoto
GT-1042Tesoura de poda, 20 mm18,90Sim0,24 kg…/gt-1042.jpg
GT-1187Serrote dobrável, 210 mm24,50Sim0,31 kg…/gt-1187.jpg
GT-2210Tesoura para cerca viva, lâmina ondulada39,00Não1,10 kg…/gt-2210.jpg
GT-3305Pá de jardinagem, inox9,80Sim0,18 kg…/gt-3305.jpg
GT-4120Mangueira de jardim 25 m, 1/2"42,00Sim2,90 kg…/gt-4120.jpg

O arquivo do exemplo tem 1.236 produtos de 52 páginas de lista.

Um trecho do código

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Arquivos: um arquivo ZIP com scraper.py, settings.ini (a página inicial, a pausa entre as requisições, o nome do arquivo), requirements.txt e um README sobre como instalar e rodar. Ele lê só páginas abertas, uma a cada 2 segundos, e confere antes o robots.txt do site. O cliente roda o parser no próprio computador.

Cliente: uma loja online de jardinagem que revende as ferramentas de um fornecedor; o fornecedor tem um catálogo aberto no site, mas nenhum arquivo de tabela de preços. Tarefa: percorrer as páginas de lista do catálogo, abrir cada página de produto e salvar no Excel o código do artigo, o nome, o preço, o estoque, o peso e o link da foto principal, para comparar os preços uma vez por semana.

O cliente e todos os dados são fictícios.

Sobre este serviço

Um parser de manchetes de notícias pronto: um parser Python típico já resolvido para páginas de notícias, ajustado ao site ou à seção de notícias aberta que você indicar. Ele salva manchete, data e hora, seção, tags, o breve resumo que o site mostra e o link: o suficiente para acompanhar o seu setor, ver com que frequência um tema aparece ou manter uma lista de leitura para uma newsletter. Não copia artigos completos, que pertencem aos seus editores; a tabela aponta para eles por link. Se o site tem um feed RSS, o parser pode lê-lo, o que é mais gentil com o site. Você envia links de uma página de seção e de um artigo, cópias salvas deles e os campos de que precisa. Você mesmo o executa no seu computador. Ele lê apenas páginas abertas em um ritmo educado, ignora tudo que está atrás de um paywall ou login e não salva comentários nem nada com nomes de leitores.

O que está incluído

  • O que você recebeUm arquivo ZIP com o parser de manchetes de notícias pronto em Python, um arquivo de configurações com os endereços e a pausa entre páginas, e um README; o código também aparece na página do pedido.
  • Campos de manchetes prontosManchete, data, seção, tags, resumo, link
  • Links, não textos completosOs artigos ficam com os seus editores
  • Vários sites juntosAté 3 em uma só tabela, no Premium
  • Ritmo educadoUma pausa entre páginas, definida nas configurações
  • Um guia simplesInstalar o Python e executá-lo, passo a passo

Como funciona

  1. 1
    PáginasVocê informa o site, a seção, os campos e as páginas salvas
  2. 2
    ConfiguraçãoAjustamos o parser pronto a essas páginas e escrevemos o guia
  3. 3
    ExecuçãoVocê o executa e confere as primeiras linhas da tabela
  4. 4
    AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O site de notícias aberto e as páginas exatas: um link para uma página de seção ou de tag e para um artigo. Os campos de que precisa na ordem da sua tabela, por exemplo manchete, data, seção, resumo e link. Uma ou duas dessas páginas salvas do seu navegador (Arquivo > Salvar página como) ou capturas de tela, e o link do RSS se o site tiver um. O arquivo de resultados: CSV, Excel ou, no Premium, JSON. Para o Premium, os outros sites e com que frequência executar.

Vamos perguntar:

  • Qual site e seção?
  • Os campos de que você precisa
  • Palavras-chave a manter
  • Arquivo de resultados e frequência

Compare os pacotes

PacotesBásicoR$ 89PadrãoR$ 173PremiumR$ 312
O que está incluídoManchetes de uma páginaSeção e artigosAté 3 sites de notícias
Prazo1 dia2 dias3 dias
Ajustes123
Sites11até 3
Tipos de página12 (lista e item)até 3
Camposaté 10até 25até 25 em cada
Percorre as páginas de uma listaNãoSimSim
Arquivo de resultadosCSVExcel ou CSVExcel, CSV ou JSON
Duplicatas removidas, retoma de onde parouNãoNãoSim
Versão prontaManchetes de notíciasManchetes de notíciasManchetes de notícias
Fazer pedido BásicoFazer pedido PadrãoFazer pedido Premium

Pagamento protegido

Você paga ao fazer o pedido, mas o dinheiro só é liberado pelo trabalho aprovado.

  • Preço fixoO preço do pacote não muda depois que você paga.
  • O dinheiro fica reservadoAo pagar, o valor fica apenas reservado. Ele só é repassado quando você aprova o trabalho.
  • Verificado antes da entregaCada resultado passa por um controle de qualidade antes de chegar até você, e você o vê na página do pedido antes de aprovar.
  • Ajustes gratuitosPeça ajustes dentro do seu briefing quantas vezes o pacote permitir.
  • Aprovação após 3 diasSe em 3 dias após a entrega você não aprovar o trabalho nem pedir ajustes, ele é aprovado automaticamente. Se você escrever no chat do pedido após a entrega, o pedido fica em espera; depois que respondermos, podemos reiniciar a contagem de 3 dias e avisaremos no chat.
  • Refazer ou reembolso totalSe o resultado não corresponder ao seu briefing e os ajustes não resolverem, ou se o trabalho levar mais que o dobro do prazo, escreva no chat do pedido: refazemos o trabalho ou reembolsamos o pagamento integralmente.
Como funciona →

Perguntas e respostas

Ele pode salvar o texto completo dos artigos?

Não. Os artigos são o trabalho dos editores. O parser salva a manchete, o breve resumo que o site mostra e o link, então você lê o artigo no site.

Posso republicar as manchetes no meu site?

Isso depende dos termos do editor e da lei do seu país, e a decisão é sua. O parser foi feito para o seu próprio monitoramento e listas de leitura.

E se o site mudar o layout?

O parser funciona pelas páginas como estão agora. Depois de um redesenho ele precisa de uma atualização, que é um novo pedido. Ele lê em um ritmo educado e não contorna limites que um site define.

Posso coletar esses dados?

Coletar dados públicos é permitido em muitos casos, mas os termos dos sites e as leis de dados diferem entre países, então é você quem decide se pode coletar e usar. O parser nunca entra em contas, contorna proteções nem coleta dados pessoais.

Por que custa menos do que um parser sob medida?

É um parser de manchetes de notícias pronto e típico: seus campos e o jeito como ele percorre as páginas já estão resolvidos, e nós o ajustamos ao site que você indicar e às suas colunas. Sites e campos incomuns são o serviço de parser sob medida.

Não encontrou a resposta?

Pacotes