Скрипт на Python, который прочитает журналы доступа веб-сервера и сделает понятный отчёт о страницах и ошибках

Пример результата

python merge_sales.py --month 2026-10

2026-11-02 09:14:03 INFO  Папка: sales/2026-10, найдено файлов: 9
2026-11-02 09:14:03 INFO  shop-01.csv: 1284 строки
2026-11-02 09:14:04 INFO  shop-02.xlsx: 967 строк
2026-11-02 09:14:04 WARN  shop-07.csv: пропущены 3 строки без цены (строки 88, 412, 913)
2026-11-02 09:14:05 INFO  Готово: 10 412 строк -> report-2026-10.xlsx (листы «Продажи» и «Итоги»)

[columns]
date = Дата, Дата продажи, День
product = Товар, Наименование, Название
quantity = Кол-во, Количество, Шт
price = Цена, Цена за шт

def read_shop_file(path: Path, columns: dict[str, list[str]]) -> pd.DataFrame:
    """Читает файл одного магазина и даёт столбцам названия из отчёта."""
    table = pd.read_excel(path) if path.suffix == ".xlsx" else pd.read_csv(path, encoding="utf-8-sig")
    renamed = {}
    for name, variants in columns.items():
        found = next((c for c in table.columns if c.strip() in variants), None)
        if found is None:
            raise ReportError(f"{path.name}: нет столбца «{name}» (искали: {', '.join(variants)})")
        renamed[found] = name
    table = table.rename(columns=renamed)[list(columns)]
    table["shop"] = path.stem
    return table

Об услуге

Веб-сервер записывает каждый запрос в журнал доступа, но файл на миллионы строк мало что говорит, пока его не посчитать. Этот скрипт на Python читает журналы доступа Nginx или Apache, включая старые сжатые, и делает отчёт: запросы по дням и часам, самые посещаемые страницы, коды ответа, страницы с ошибками 404 и 500 и откуда пришли посетители. В «Премиуме» он считает заходы поисковых систем отдельно от людей и сохраняет книгу Excel с листом на каждый раздел. IP-адреса посетителей по умолчанию в отчёт не попадают или сокращаются, если они вам нужны. Пришлите строку формата журнала из настроек сервера и 20-30 строк с изменёнными адресами. Запускаете скрипт вы на своём сервере или компьютере; он читает журналы и никаких настроек не меняет.

Что входит

• Что вы получитеАрхив ZIP со скриптом на Python, README с пошаговой инструкцией и, начиная со «Стандарта», файл настроек с путями к журналам и параметрами отчёта; код также виден на странице заказа.
• Nginx и ApacheРаспространённые форматы журналов или ваш, если он другой
• Ошибки со страницамиКакие адреса отдают 404 или 500 и как часто
• И старые журналыНачиная со «Стандарта», сжатые файлы .gz читаются как есть
• Без личных данныхIP-адреса убираются или сокращаются
• Понятный кодС комментариями, раздел легко добавить потом

Порядок работы

1. 1
   ЗадачаВы присылаете формат журнала и несколько строк с изменёнными адресами
2. 2
   КодМы пишем скрипт и инструкцию по запуску
3. 3
   ПроверкаВы запускаете его на копии журнала за один день и смотрите отчёт
4. 4
   ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Ваш веб-сервер (Nginx или Apache), строка log_format или LogFormat из его настроек, если её меняли, и 20-30 строк журнала доступа с IP-адресами, заменёнными на выдуманные. Где лежат журналы и как они ротируются, сколько весит журнал за день, что должно быть в отчёте и в каком виде (CSV или Excel) и где он будет работать: на самом сервере (и какая там система) или на вашем компьютере.

В брифе мы спросим:

• Какой веб-сервер и формат журнала?
• Что должно быть в отчёте?
• Как часто он нужен?
• Где он будет работать?

Сравнение пакетов

Вопросы и ответы

Не нашли ответ? Спросите