Мониторинг и отчёты

Разобрать syslog по уровням

Считает сообщения syslog по уровням, программам и повторяющимся ошибкам.

Python Linux macOS Средний
Скачать syslog_analyze.py
Описание

Что делает скрипт

Скрипт читает /var/log/syslog или указанный файл, разбирает стандартные строки syslog и определяет уровень по тексту сообщения. Показываются счетчики, топ программ и нормализованные частые ошибки. Опционально можно задать критический порог по числу critical-сообщений.

Запуск

Быстрый старт

python syslog_analyze.py --file /var/log/syslog

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python syslog_analyze.py --file /var/log/syslog --top 15
  • python syslog_analyze.py --file /var/log/messages --crit 5 --json
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Linux sudo apt install python3
macOS brew install python
Исходник

syslog_analyze.py

#!/usr/bin/env python3
"""Разбирает syslog и считает сообщения по уровням."""
from __future__ import annotations

import argparse
import json
import re
import sys
from collections import Counter
from pathlib import Path

LINE = re.compile(
    r"^(?P<stamp>[A-Z][a-z]{2}\s+\d{1,2}\s+\d{2}:\d{2}:\d{2})\s+"
    r"(?P<host>\S+)\s+"
    r"(?P<program>[^:\[]+?)(?:\[(?P<pid>\d+)\])?:\s*"
    r"(?P<message>.*)$"
)

LEVEL_WORDS = (
    ("critical", ("critical", "crit", "panic", "emerg")),
    ("error", ("error", "err", "failed", "failure", "exception")),
    ("warning", ("warning", "warn")),
    ("info", ("info", "notice")),
)


def detect_level(message: str) -> str:
    lowered = message.lower()
    for level, words in LEVEL_WORDS:
        if any(word in lowered for word in words):
            return level
    return "other"


def normalize(message: str) -> str:
    text = re.sub(r"\b[0-9a-f]{8,}\b", "<hex>", message, flags=re.IGNORECASE)
    text = re.sub(r"\b\d+\b", "<n>", text)
    text = re.sub(r"\s+", " ", text).strip()
    return text[:180]


def default_file() -> Path:
    for candidate in ("/var/log/syslog", "/var/log/messages"):
        path = Path(candidate)
        if path.is_file():
            return path
    return Path("/var/log/syslog")


def main() -> int:
    parser = argparse.ArgumentParser(description="Анализ syslog")
    parser.add_argument("--file", type=Path, default=default_file())
    parser.add_argument("--top", type=int, default=10)
    parser.add_argument("--crit", type=int, default=0)
    parser.add_argument("--json", action="store_true")
    args = parser.parse_args()

    try:
        lines = args.file.read_text(encoding="utf-8", errors="replace").splitlines()
    except OSError as error:
        print(f"ОШИБКА: {error}", file=sys.stderr)
        return 2

    levels = Counter()
    programs = Counter()
    messages = Counter()
    parsed = 0
    for line in lines:
        match = LINE.match(line)
        if not match:
            continue
        parsed += 1
        message = match.group("message")
        levels[detect_level(message)] += 1
        programs[match.group("program").strip()] += 1
        if detect_level(message) in {"critical", "error"}:
            messages[normalize(message)] += 1

    payload = {
        "file": str(args.file),
        "lines": len(lines),
        "parsed": parsed,
        "levels": dict(levels),
        "top_programs": programs.most_common(args.top),
        "top_errors": messages.most_common(args.top),
        "status": 2 if args.crit and levels["critical"] >= args.crit else 0,
    }

    if args.json:
        print(json.dumps(payload, ensure_ascii=False, indent=2))
    else:
        print(f"Файл: {args.file}, строк: {len(lines)}, разобрано: {parsed}")
        print("Уровни: " + ", ".join(f"{key}={value}" for key, value in levels.items()))
        print("Топ программ:")
        for name, count in payload["top_programs"]:
            print(f"  {count:6d}  {name}")
        print("Топ ошибок:")
        for message, count in payload["top_errors"]:
            print(f"  {count:6d}  {message}")

    return payload["status"]


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get monitoring-syslog-analyze
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Мониторинг и отчёты

Сбор метрик, проверка доступности, отчёты и уведомления.