Разобрать ошибки Apache
Считает уровни и повторяющиеся сообщения из error.log Apache.
Что делает скрипт
Скрипт разбирает стандартные строки error.log, извлекает уровень, клиента и текст сообщения. Показываются счетчики по уровням, топ сообщений и топ клиентов. Опциональный порог --crit возвращает критический код при большом числе ошибок.
Быстрый старт
python apache_errors.py --file /var/log/apache2/error.log
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python apache_errors.py --file /var/log/apache2/error.log --top 15python apache_errors.py --file /var/log/httpd/error_log --level error --crit 10 --json
Что понадобится
sudo apt install python3
brew install python
apache_errors.py
#!/usr/bin/env python3
"""Разбирает error.log Apache."""
from __future__ import annotations
import argparse
import json
import re
import sys
from collections import Counter
from pathlib import Path
LINE = re.compile(
r"^\[(?P<stamp>[^\]]+)\]\s+"
r"\[(?P<module>[^:\]]+):(?P<level>[^\]]+)\]\s+"
r"(?:\[pid (?P<pid>\d+)(?::tid \d+)?\]\s+)?"
r"(?:\[client (?P<client>[^\]]+)\]\s+)?"
r"(?P<message>.*)$"
)
def normalize(message: str) -> str:
text = re.sub(r"\b(?:\d{1,3}\.){3}\d{1,3}\b", "<ip>", message)
text = re.sub(r"\b0x[0-9a-f]+\b", "<hex>", text, flags=re.IGNORECASE)
text = re.sub(r"\b\d+\b", "<n>", text)
text = re.sub(r"\s+", " ", text).strip()
return text[:180]
def default_file() -> Path:
for candidate in ("/var/log/apache2/error.log", "/var/log/httpd/error_log"):
path = Path(candidate)
if path.is_file():
return path
return Path("/var/log/apache2/error.log")
def main() -> int:
parser = argparse.ArgumentParser(description="Анализ error.log Apache")
parser.add_argument("--file", type=Path, default=default_file())
parser.add_argument("--level", default="", help="Фильтр по уровню, например error")
parser.add_argument("--top", type=int, default=10)
parser.add_argument("--crit", type=int, default=0)
parser.add_argument("--json", action="store_true")
args = parser.parse_args()
try:
lines = args.file.read_text(encoding="utf-8", errors="replace").splitlines()
except OSError as error:
print(f"ОШИБКА: {error}", file=sys.stderr)
return 2
levels = Counter()
messages = Counter()
clients = Counter()
parsed = 0
first_stamp = ""
last_stamp = ""
for line in lines:
match = LINE.match(line)
if not match:
continue
level = match.group("level").strip().lower()
if args.level and level != args.level.lower():
continue
parsed += 1
levels[level] += 1
messages[normalize(match.group("message"))] += 1
client = match.group("client")
if client:
clients[client.split(":")[0]] += 1
if not first_stamp:
first_stamp = match.group("stamp")
last_stamp = match.group("stamp")
error_count = levels.get("error", 0) + levels.get("crit", 0) + levels.get("alert", 0)
status = 2 if args.crit and error_count >= args.crit else 0
payload = {
"file": str(args.file),
"parsed": parsed,
"first": first_stamp,
"last": last_stamp,
"levels": dict(levels),
"top_messages": messages.most_common(args.top),
"top_clients": clients.most_common(args.top),
"status": status,
}
if args.json:
print(json.dumps(payload, ensure_ascii=False, indent=2))
else:
print(f"Файл: {args.file}, разобрано: {parsed}")
print(f"Период: {first_stamp} - {last_stamp}")
print("Уровни: " + ", ".join(f"{key}={value}" for key, value in levels.items()))
print("Топ сообщений:")
for message, count in payload["top_messages"]:
print(f" {count:6d} {message}")
if clients:
print("Топ клиентов:")
for client, count in payload["top_clients"]:
print(f" {count:6d} {client}")
return status
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.