Разобрать syslog по уровням
Считает сообщения syslog по уровням, программам и повторяющимся ошибкам.
Что делает скрипт
Скрипт читает /var/log/syslog или указанный файл, разбирает стандартные строки syslog и определяет уровень по тексту сообщения. Показываются счетчики, топ программ и нормализованные частые ошибки. Опционально можно задать критический порог по числу critical-сообщений.
Быстрый старт
python syslog_analyze.py --file /var/log/syslog
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python syslog_analyze.py --file /var/log/syslog --top 15python syslog_analyze.py --file /var/log/messages --crit 5 --json
Что понадобится
sudo apt install python3
brew install python
syslog_analyze.py
#!/usr/bin/env python3
"""Разбирает syslog и считает сообщения по уровням."""
from __future__ import annotations
import argparse
import json
import re
import sys
from collections import Counter
from pathlib import Path
LINE = re.compile(
r"^(?P<stamp>[A-Z][a-z]{2}\s+\d{1,2}\s+\d{2}:\d{2}:\d{2})\s+"
r"(?P<host>\S+)\s+"
r"(?P<program>[^:\[]+?)(?:\[(?P<pid>\d+)\])?:\s*"
r"(?P<message>.*)$"
)
LEVEL_WORDS = (
("critical", ("critical", "crit", "panic", "emerg")),
("error", ("error", "err", "failed", "failure", "exception")),
("warning", ("warning", "warn")),
("info", ("info", "notice")),
)
def detect_level(message: str) -> str:
lowered = message.lower()
for level, words in LEVEL_WORDS:
if any(word in lowered for word in words):
return level
return "other"
def normalize(message: str) -> str:
text = re.sub(r"\b[0-9a-f]{8,}\b", "<hex>", message, flags=re.IGNORECASE)
text = re.sub(r"\b\d+\b", "<n>", text)
text = re.sub(r"\s+", " ", text).strip()
return text[:180]
def default_file() -> Path:
for candidate in ("/var/log/syslog", "/var/log/messages"):
path = Path(candidate)
if path.is_file():
return path
return Path("/var/log/syslog")
def main() -> int:
parser = argparse.ArgumentParser(description="Анализ syslog")
parser.add_argument("--file", type=Path, default=default_file())
parser.add_argument("--top", type=int, default=10)
parser.add_argument("--crit", type=int, default=0)
parser.add_argument("--json", action="store_true")
args = parser.parse_args()
try:
lines = args.file.read_text(encoding="utf-8", errors="replace").splitlines()
except OSError as error:
print(f"ОШИБКА: {error}", file=sys.stderr)
return 2
levels = Counter()
programs = Counter()
messages = Counter()
parsed = 0
for line in lines:
match = LINE.match(line)
if not match:
continue
parsed += 1
message = match.group("message")
levels[detect_level(message)] += 1
programs[match.group("program").strip()] += 1
if detect_level(message) in {"critical", "error"}:
messages[normalize(message)] += 1
payload = {
"file": str(args.file),
"lines": len(lines),
"parsed": parsed,
"levels": dict(levels),
"top_programs": programs.most_common(args.top),
"top_errors": messages.most_common(args.top),
"status": 2 if args.crit and levels["critical"] >= args.crit else 0,
}
if args.json:
print(json.dumps(payload, ensure_ascii=False, indent=2))
else:
print(f"Файл: {args.file}, строк: {len(lines)}, разобрано: {parsed}")
print("Уровни: " + ", ".join(f"{key}={value}" for key, value in levels.items()))
print("Топ программ:")
for name, count in payload["top_programs"]:
print(f" {count:6d} {name}")
print("Топ ошибок:")
for message, count in payload["top_errors"]:
print(f" {count:6d} {message}")
return payload["status"]
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.