Um script em Python que lê os logs de acesso do seu servidor web e os transforma em um relatório claro de páginas e erros

Exemplo de resultado

python merge_sales.py --month 2026-10

2026-11-02 09:14:03 INFO  Pasta: sales/2026-10, 9 arquivos encontrados
2026-11-02 09:14:03 INFO  shop-01.csv: 1.284 linhas
2026-11-02 09:14:04 INFO  shop-02.xlsx: 967 linhas
2026-11-02 09:14:04 WARN  shop-07.csv: 3 linhas sem preço ignoradas (linhas 88, 412, 913)
2026-11-02 09:14:05 INFO  Pronto: 10.412 linhas -> report-2026-10.xlsx (abas "Vendas" e "Totais")

[columns]
date = Data, Data da venda, Dia
product = Produto, Item, Descrição
quantity = Qtd, Quantidade, Unid
price = Preço, Preço unitário

def read_shop_file(path: Path, columns: dict[str, list[str]]) -> pd.DataFrame:
    """Lê o arquivo de uma loja e dá a ele os nomes de colunas do relatório."""
    table = pd.read_excel(path) if path.suffix == ".xlsx" else pd.read_csv(path, encoding="utf-8-sig")
    renamed = {}
    for name, variants in columns.items():
        found = next((c for c in table.columns if c.strip() in variants), None)
        if found is None:
            raise ReportError(f"{path.name}: nenhuma coluna para '{name}' (procuradas: {', '.join(variants)})")
        renamed[found] = name
    table = table.rename(columns=renamed)[list(columns)]
    table["shop"] = path.stem
    return table

Sobre este serviço

O seu servidor web registra cada requisição no log de acesso, mas um arquivo de milhões de linhas diz pouco até ser contado. Este script em Python lê logs de acesso do Nginx ou do Apache, incluindo os antigos comprimidos, e gera um relatório: requisições por dia e hora, as páginas mais visitadas, códigos de status, as páginas que retornam 404 ou 500 e de onde vieram os visitantes. O Premium conta os rastreadores dos buscadores separadamente das pessoas e salva uma pasta de trabalho do Excel com uma aba por seção. Os endereços IP dos visitantes ficam fora do relatório por padrão, ou são encurtados, se você precisar deles. Envie a linha de formato de log das configurações do seu servidor e de 20 a 30 linhas com os endereços trocados. Você roda no seu servidor ou computador; ele lê logs e não muda nenhuma configuração.

O que está incluído

• O que você recebeUm arquivo ZIP com o script em Python, um README com instruções passo a passo e, a partir do Padrão, um arquivo de configurações com os caminhos dos logs e as opções do relatório; o código também aparece na página do pedido.
• Nginx e ApacheOs formatos de log comuns, ou o seu, se for diferente
• Erros com as páginasQuais endereços dão 404 ou 500, e com que frequência
• Logs antigos tambémA partir do Padrão, arquivos .gz comprimidos lidos como estão
• Sem dados pessoaisEndereços IP deixados de fora ou encurtados
• Código legívelCom comentários, fácil de incluir uma seção depois

Como funciona

1. 1
   TarefaVocê envia o formato do log e algumas linhas com os endereços trocados
2. 2
   CódigoEscrevemos o script e o guia para rodá-lo
3. 3
   TesteVocê roda em uma cópia do log de um dia e confere o relatório
4. 4
   AjustesVocê pede ajustes dentro do seu pacote e envia qualquer mensagem de erro

O que precisamos de você

O seu servidor web (Nginx ou Apache), a linha log_format ou LogFormat das configurações dele, se tiver sido alterada, e de 20 a 30 linhas do log de acesso com os endereços IP trocados por inventados. Onde os logs ficam e como são rotacionados, o tamanho do log de um dia, o que o relatório deve mostrar e em que formato (CSV ou Excel), e onde ele vai rodar: no próprio servidor (com o sistema dele) ou no seu computador.

Vamos perguntar:

• Qual servidor web e qual formato de log?
• O que o relatório deve mostrar?
• Com que frequência você precisa dele?
• Onde ele vai rodar?

Compare os pacotes

Perguntas e respostas

Não encontrou a resposta? Pergunte