Um parser em Python que salva cotações abertas de moedas e criptomoedas em uma tabela, com a hora de cada leitura

Exemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Links das páginas de produto de todas as páginas da lista, seguindo o botão 'Próxima'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Uma página aberta, em um ritmo educado: uma pausa entre as requisições e algumas tentativas em caso de erro."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondeu %s, tentativa %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} não abriu depois de 3 tentativas")

Sobre este serviço

Casas de câmbio, lojas que precificam em várias moedas e responsáveis pela contabilidade usam este parser para salvar cotações de páginas abertas em uma tabela: moeda ou criptomoeda, cotação de compra e de venda, cotação oficial, variação do dia quando aparece, a fonte e a hora da leitura. Envie as páginas de onde você tira as cotações, como a tabela pública de câmbio de um banco, e uma ou duas delas salvas no seu navegador. Você recebe o código em Python, um arquivo de configurações e um README e roda no seu computador quando precisar de uma leitura. As cotações são copiadas como a página mostra naquele momento: não é um feed ao vivo e não dá orientação financeira nem previsões. Quando uma fonte tem um feed oficial de dados abertos, avisamos. Ele lê páginas abertas em um ritmo educado e nunca faz login nem contorna captchas ou proteções. Você decide se os termos do site permitem; uma mudança futura de layout exige uma atualização.

O que está incluído

• O que você recebeUm arquivo ZIP com o código em Python, um arquivo de configurações e um README com instruções passo a passo; o código também aparece na página do pedido.
• Compra e venda separadasColunas separadas, como números
• Hora de cada leituraData e hora em cada linha
• Fonte em uma colunaPara as cotações de páginas diferentes não se misturarem
• Ritmo educadoNão a cada segundo: uma pausa que você define
• Roda no seu computadorWindows, macOS ou Linux, com Python

Como funciona

1. 1
   FontesVocê passa as páginas de cotações e as moedas ou criptomoedas
2. 2
   ParserEscrevemos o código e o guia para rodá-lo
3. 3
   ExecuçãoVocê roda e compara a primeira leitura com o site
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

As páginas de onde você tira as cotações, com links, e as moedas ou criptomoedas de que você precisa. Os campos na ordem da sua tabela, ex.: moeda, compra, venda, cotação oficial, variação, fonte, hora. Uma ou duas dessas páginas salvas no seu navegador (Arquivo > Salvar página como) ou capturas de tela. Com que frequência você precisa de uma leitura, o formato dos números (ponto ou vírgula), e CSV ou Excel.

Vamos perguntar:

• Quais páginas?
• Moedas ou criptomoedas
• Os campos de que você precisa
• Com que frequência você vai rodá-lo?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte