Um parser em Python para editais abertos de licitações e compras: órgão comprador, objeto, valor e prazo em uma tabela

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Fornecedores que participam de licitações usam este parser para ver os editais abertos em uma tabela: número do edital, objeto, órgão comprador, região, modalidade, valor estimado e moeda, data de publicação, prazo, situação e link. Faça uma busca no portal de compras com as suas palavras-chave ou códigos e envie esse link, uma página de edital e uma ou duas páginas salvas no seu navegador. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador toda manhã ou quando precisar. Pessoas de contato ficam de fora: nada de nomes, e-mails ou telefones. Ele não faz login, não baixa documentos atrás de uma conta, não contorna captchas nem proteções e não envia propostas, e mantém um ritmo educado. Você decide se os termos do portal permitem; uma mudança futura no layout dele exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Prazos que você pode ordenarDatas em um só formato, prontas para ordenar por prazo
• Valor estimado como númeroCom a moeda em uma coluna própria
• Suas palavras-chaveComeça pela busca que você monta no portal
• Sem pessoas de contatoSó o órgão comprador, sem nomes nem telefones
• Ritmo educadoUma pausa entre as páginas, definida nas configurações

Como funciona

1. 1
   BuscaVocê monta a busca e envia o link e um edital salvo
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e confere os editais de hoje com o portal
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O portal de compras e um link para uma busca com as suas palavras-chave, códigos ou regiões, uma página de edital e mais ou menos quantos editais a busca mostra. Os campos na ordem da sua tabela, ex.: número, objeto, órgão, região, valor estimado, moeda, publicação, prazo, link. Uma ou duas dessas páginas salvas no seu navegador (Arquivo > Salvar página como) ou capturas de tela. CSV ou Excel.

Vamos perguntar:

• Qual portal e qual busca?
• Palavras-chave, códigos ou regiões
• Os campos de que você precisa
• Com que frequência você vai rodá-lo?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte