Een Python-script dat de toegangslogs van je webserver leest en er een helder rapport van pagina's en fouten van maakt

Voorbeeldresultaat

python merge_sales.py --month 2026-10

2026-11-02 09:14:03 INFO  Folder: sales/2026-10, 9 files found
2026-11-02 09:14:03 INFO  shop-01.csv: 1,284 rows
2026-11-02 09:14:04 INFO  shop-02.xlsx: 967 rows
2026-11-02 09:14:04 WARN  shop-07.csv: 3 rows without a price skipped (lines 88, 412, 913)
2026-11-02 09:14:05 INFO  Done: 10,412 rows -> report-2026-10.xlsx (sheets "Sales" and "Totals")

[columns]
date = Date, Sale date, Day
product = Product, Item, Name
quantity = Qty, Quantity, Pcs
price = Price, Unit price

def read_shop_file(path: Path, columns: dict[str, list[str]]) -> pd.DataFrame:
    """Reads one shop's file and gives it the report's column names."""
    table = pd.read_excel(path) if path.suffix == ".xlsx" else pd.read_csv(path, encoding="utf-8-sig")
    renamed = {}
    for name, variants in columns.items():
        found = next((c for c in table.columns if c.strip() in variants), None)
        if found is None:
            raise ReportError(f"{path.name}: no column for '{name}' (looked for {', '.join(variants)})")
        renamed[found] = name
    table = table.rename(columns=renamed)[list(columns)]
    table["shop"] = path.stem
    return table

Over deze dienst

Je webserver noteert elk verzoek in zijn toegangslog, maar een bestand van miljoenen regels zegt je weinig tot het geteld is. Dit Python-script leest toegangslogs van Nginx of Apache, ook oudere gecomprimeerde, en maakt een rapport: verzoeken per dag en uur, de meest bezochte pagina's, statuscodes, de pagina's die 404 of 500 geven en waar bezoekers vandaan kwamen. Premium telt crawlers van zoekmachines apart van mensen en slaat een Excel-werkmap op met een tabblad per onderdeel. IP-adressen van bezoekers blijven standaard buiten het rapport, of worden ingekort als je ze nodig hebt. Stuur ons de regel met het logformaat uit de instellingen van je server en 20-30 regels met gewijzigde adressen. Je voert het uit op je server of computer; het leest logs en verandert geen instellingen.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met het Python-script, een README met stapsgewijze instructies en, vanaf Standaard, een instellingenbestand met logpaden en rapportopties; de code staat ook op de bestelpagina.
• Nginx en ApacheDe gangbare logformaten, of het jouwe als dat afwijkt
• Fouten met pagina'sWelke adressen 404 of 500 geven, en hoe vaak
• Ook oude logsVanaf Standaard gecomprimeerde .gz-bestanden gelezen zoals ze zijn
• Geen persoonsgegevensIP-adressen weggelaten of ingekort
• Leesbare codeMet commentaar, later makkelijk een onderdeel toe te voegen

Hoe het werkt

1. 1
   TaakJe stuurt het logformaat en een paar regels met gewijzigde adressen
2. 2
   CodeWij schrijven het script en de handleiding om het uit te voeren
3. 3
   UitproberenJe voert het uit op een kopie van de log van één dag en bekijkt het rapport
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

Je webserver (Nginx of Apache), de regel log_format of LogFormat uit de instellingen als die is aangepast, en 20-30 regels van de toegangslog met IP-adressen vervangen door verzonnen exemplaren. Waar de logs staan en hoe ze geroteerd worden, hoe groot de log van een dag is, wat het rapport moet tonen en in welke vorm (CSV of Excel), en waar het gaat draaien: op de server zelf (met het systeem) of op je computer.

We vragen je:

• Welke webserver en welk logformaat?
• Wat moet het rapport tonen?
• Hoe vaak heb je het nodig?
• Waar gaat het draaien?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons