Мониторинг и отчёты

Разобрать ошибки Apache

Считает уровни и повторяющиеся сообщения из error.log Apache.

Python Linux macOS Средний
Скачать apache_errors.py
Описание

Что делает скрипт

Скрипт разбирает стандартные строки error.log, извлекает уровень, клиента и текст сообщения. Показываются счетчики по уровням, топ сообщений и топ клиентов. Опциональный порог --crit возвращает критический код при большом числе ошибок.

Запуск

Быстрый старт

python apache_errors.py --file /var/log/apache2/error.log

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python apache_errors.py --file /var/log/apache2/error.log --top 15
  • python apache_errors.py --file /var/log/httpd/error_log --level error --crit 10 --json
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Linux sudo apt install python3
macOS brew install python
Исходник

apache_errors.py

#!/usr/bin/env python3
"""Разбирает error.log Apache."""
from __future__ import annotations

import argparse
import json
import re
import sys
from collections import Counter
from pathlib import Path

LINE = re.compile(
    r"^\[(?P<stamp>[^\]]+)\]\s+"
    r"\[(?P<module>[^:\]]+):(?P<level>[^\]]+)\]\s+"
    r"(?:\[pid (?P<pid>\d+)(?::tid \d+)?\]\s+)?"
    r"(?:\[client (?P<client>[^\]]+)\]\s+)?"
    r"(?P<message>.*)$"
)


def normalize(message: str) -> str:
    text = re.sub(r"\b(?:\d{1,3}\.){3}\d{1,3}\b", "<ip>", message)
    text = re.sub(r"\b0x[0-9a-f]+\b", "<hex>", text, flags=re.IGNORECASE)
    text = re.sub(r"\b\d+\b", "<n>", text)
    text = re.sub(r"\s+", " ", text).strip()
    return text[:180]


def default_file() -> Path:
    for candidate in ("/var/log/apache2/error.log", "/var/log/httpd/error_log"):
        path = Path(candidate)
        if path.is_file():
            return path
    return Path("/var/log/apache2/error.log")


def main() -> int:
    parser = argparse.ArgumentParser(description="Анализ error.log Apache")
    parser.add_argument("--file", type=Path, default=default_file())
    parser.add_argument("--level", default="", help="Фильтр по уровню, например error")
    parser.add_argument("--top", type=int, default=10)
    parser.add_argument("--crit", type=int, default=0)
    parser.add_argument("--json", action="store_true")
    args = parser.parse_args()

    try:
        lines = args.file.read_text(encoding="utf-8", errors="replace").splitlines()
    except OSError as error:
        print(f"ОШИБКА: {error}", file=sys.stderr)
        return 2

    levels = Counter()
    messages = Counter()
    clients = Counter()
    parsed = 0
    first_stamp = ""
    last_stamp = ""

    for line in lines:
        match = LINE.match(line)
        if not match:
            continue
        level = match.group("level").strip().lower()
        if args.level and level != args.level.lower():
            continue
        parsed += 1
        levels[level] += 1
        messages[normalize(match.group("message"))] += 1
        client = match.group("client")
        if client:
            clients[client.split(":")[0]] += 1
        if not first_stamp:
            first_stamp = match.group("stamp")
        last_stamp = match.group("stamp")

    error_count = levels.get("error", 0) + levels.get("crit", 0) + levels.get("alert", 0)
    status = 2 if args.crit and error_count >= args.crit else 0
    payload = {
        "file": str(args.file),
        "parsed": parsed,
        "first": first_stamp,
        "last": last_stamp,
        "levels": dict(levels),
        "top_messages": messages.most_common(args.top),
        "top_clients": clients.most_common(args.top),
        "status": status,
    }

    if args.json:
        print(json.dumps(payload, ensure_ascii=False, indent=2))
    else:
        print(f"Файл: {args.file}, разобрано: {parsed}")
        print(f"Период: {first_stamp} - {last_stamp}")
        print("Уровни: " + ", ".join(f"{key}={value}" for key, value in levels.items()))
        print("Топ сообщений:")
        for message, count in payload["top_messages"]:
            print(f"  {count:6d}  {message}")
        if clients:
            print("Топ клиентов:")
            for client, count in payload["top_clients"]:
                print(f"  {count:6d}  {client}")

    return status


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get monitoring-apache-errors
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Мониторинг и отчёты

Сбор метрик, проверка доступности, отчёты и уведомления.