Script Python đọc access log của web server và biến chúng thành báo cáo rõ ràng về các trang và lỗi

Ví dụ kết quả

python merge_sales.py --month 2026-10

2026-11-02 09:14:03 INFO  Thư mục: sales/2026-10, tìm thấy 9 file
2026-11-02 09:14:03 INFO  shop-01.csv: 1.284 dòng
2026-11-02 09:14:04 INFO  shop-02.xlsx: 967 dòng
2026-11-02 09:14:04 WARN  shop-07.csv: bỏ qua 3 dòng không có giá (dòng 88, 412, 913)
2026-11-02 09:14:05 INFO  Xong: 10.412 dòng -> report-2026-10.xlsx (sheet “Doanh số” và “Tổng cộng”)

[columns]
date = Ngày, Ngày bán, Ngày giao dịch
product = Sản phẩm, Mặt hàng, Tên hàng
quantity = SL, Số lượng, Cái
price = Giá, Đơn giá

def read_shop_file(path: Path, columns: dict[str, list[str]]) -> pd.DataFrame:
    """Đọc file của một cửa hàng và đặt cho các cột tên theo báo cáo."""
    table = pd.read_excel(path) if path.suffix == ".xlsx" else pd.read_csv(path, encoding="utf-8-sig")
    renamed = {}
    for name, variants in columns.items():
        found = next((c for c in table.columns if c.strip() in variants), None)
        if found is None:
            raise ReportError(f"{path.name}: không có cột cho “{name}” (đã tìm: {', '.join(variants)})")
        renamed[found] = name
    table = table.rename(columns=renamed)[list(columns)]
    table["shop"] = path.stem
    return table

Về dịch vụ này

Web server ghi lại mọi yêu cầu vào access log, nhưng một file hàng triệu dòng chẳng nói lên được bao nhiêu cho tới khi được thống kê. Script Python này đọc access log của Nginx hoặc Apache, kể cả các file cũ đã nén, và lập báo cáo: số yêu cầu theo ngày và giờ, các trang được xem nhiều nhất, mã trạng thái, các trang trả về 404 hoặc 500 và khách truy cập đến từ đâu. Gói Cao cấp tách riêng crawler của công cụ tìm kiếm với người thật và lưu workbook Excel mỗi phần một tab. Địa chỉ IP của khách truy cập mặc định không có trong báo cáo, hoặc được rút gọn nếu bạn cần. Gửi cho chúng tôi dòng định dạng log trong cài đặt máy chủ và 20-30 dòng log đã đổi địa chỉ. Bạn chạy script trên máy chủ hoặc máy tính của mình; script chỉ đọc log và không thay đổi cài đặt nào.

Bao gồm những gì

• Bạn nhận được gìFile ZIP gồm script Python, README hướng dẫn từng bước và, từ gói Tiêu chuẩn, file cài đặt chứa đường dẫn log và tùy chọn báo cáo; code cũng được hiển thị trên trang đơn hàng.
• Nginx và ApacheCác định dạng log phổ biến, hoặc định dạng riêng của bạn
• Lỗi kèm trangĐịa chỉ nào trả về 404 hoặc 500, và bao nhiêu lần
• Cả log cũTừ gói Tiêu chuẩn, đọc thẳng file nén .gz
• Không có dữ liệu cá nhânĐịa chỉ IP bị bỏ hoặc rút gọn
• Code dễ đọcCó chú thích, dễ thêm phần mới về sau

Cách hoạt động

1. 1
   Công việcBạn gửi định dạng log và vài dòng đã đổi địa chỉ
2. 2
   CodeChúng tôi viết script và hướng dẫn chạy
3. 3
   Chạy thửBạn chạy trên bản sao log của một ngày và xem báo cáo
4. 4
   Chỉnh sửaBạn yêu cầu chỉnh sửa trong phạm vi gói và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Web server của bạn (Nginx hoặc Apache), dòng log_format hoặc LogFormat trong cài đặt nếu đã thay đổi, và 20-30 dòng access log với địa chỉ IP thay bằng địa chỉ giả. Log được lưu ở đâu và xoay vòng thế nào, log một ngày lớn cỡ nào, báo cáo cần thể hiện gì và ở dạng nào (CSV hay Excel), và script sẽ chạy ở đâu: ngay trên máy chủ (kèm hệ điều hành) hay trên máy tính của bạn.

Chúng tôi sẽ hỏi bạn:

• Web server và định dạng log nào?
• Báo cáo cần thể hiện gì?
• Bạn cần báo cáo bao lâu một lần?
• Script sẽ chạy ở đâu?

So sánh các gói

Hỏi đáp

Chưa tìm thấy câu trả lời? Hỏi chúng tôi