Um parser em Python que lista cada artigo de um blog para uma auditoria de conteúdo: título, data, palavras e subtítulos

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Antes de reescrever, juntar ou apagar posts antigos, você precisa de uma lista do que o blog tem. Este parser percorre a lista aberta de artigos de um blog, abre cada post e salva uma linha: link, título, data de publicação e de atualização quando aparece, categoria, tags, número de palavras, número de subtítulos, imagens e links, e a meta description. Ele funciona melhor no seu próprio blog e também consegue ler o blog aberto de um concorrente. Envie o endereço do blog, um artigo e uma ou duas páginas salvas no seu navegador. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador. Ele entrega fatos, não notas, e não promete posições nos buscadores. Ele lê páginas abertas em um ritmo educado, nunca faz login nem contorna captchas ou proteções, e deixa os nomes dos autores de fora. Você decide se os termos de um site permitem; uma mudança futura de layout exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Contagens por artigoPalavras, subtítulos, imagens e links
• Datas e categoriasPublicação, atualização, categoria e tags
• Título e descriçãoComo estão escritos na página, com o tamanho
• Pronto para filtrosOrdene por data ou tamanho no Excel
• Ritmo educadoUma pausa entre as páginas, definida nas configurações

Como funciona

1. 1
   BlogVocê passa o endereço do blog e um artigo salvo
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e confere as contagens de dois ou três posts
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O endereço do blog e um link para a lista de artigos, um artigo e mais ou menos quantos posts há. Os campos de que você precisa, ex.: link, título, data, categoria, tags, número de palavras, subtítulos, meta description. Uma ou duas dessas páginas salvas no seu navegador (Arquivo > Salvar página como). Se é o seu blog ou outro, e CSV ou Excel.

Vamos perguntar:

• Qual blog?
• Os campos de que você precisa
• Mais ou menos quantos artigos?
• Algo mais que ele deva fazer

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte