Um parser em Python que salva os dados de SEO das páginas de um site em uma tabela: title, description, H1, status, canonical

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Antes de uma migração de site ou de uma verificação de SEO, este parser percorre as páginas de um site e salva uma linha para cada uma: endereço, código de resposta, title e meta description com o tamanho, H1, número de H2, link canonical, tag noindex, número de palavras, imagens sem texto alt e número de links internos. Ele pega os endereços do arquivo de sitemap do site, das páginas de categoria ou da sua própria lista. Use no seu próprio site ou no site aberto de um concorrente. Envie o endereço do site, algumas páginas salvas no seu navegador e os campos de que você precisa. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador. Ele coleta fatos, não corrige o site e não promete posições nos buscadores. Ele lê só páginas abertas, em um ritmo educado, e nunca faz login nem contorna captchas ou proteções. Você decide se os termos de um site permitem; uma mudança futura de layout exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Tags e o tamanho delasTitle e description com a contagem de caracteres
• Códigos de respostaEncontre páginas quebradas e redirecionadas
• Texto alt ausenteConta as imagens que não têm texto alt
• Do sitemap ou da sua listaEndereços do arquivo de sitemap, de categorias ou de um arquivo que você passar
• Ritmo educadoUma pausa entre as páginas, definida nas configurações

Como funciona

1. 1
   SiteVocê passa o site, a origem dos endereços e as páginas salvas
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e confere algumas linhas no seu navegador
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O endereço do site e de onde o parser deve pegar os endereços: o arquivo de sitemap, as páginas de categoria ou a sua própria lista. Mais ou menos quantas páginas há. Os campos de que você precisa, ex.: endereço, código de resposta, title, description, H1, canonical, noindex, número de palavras, imagens sem alt. Duas ou três páginas de tipos diferentes salvas no seu navegador (Arquivo > Salvar página como). CSV ou Excel.

Vamos perguntar:

• Qual site?
• De onde pegar os endereços
• Os campos de que você precisa
• Mais ou menos quantas páginas?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte