Мониторинг и отчёты

Найти аномалии в метрике

Считает z-score по скользящему окну и показывает точки, выходящие за порог сигм.

Python Windows macOS Linux Продвинутый
Скачать anomaly_detect.py
Описание

Что делает скрипт

Скрипт читает CSV с числовой метрикой, берет предыдущие N значений как окно и сравнивает текущее значение со средним и стандартным отклонением. Если отклонение превышает заданное число сигм, точка попадает в отчет. Есть текстовый и JSON-вывод.

Запуск

Быстрый старт

python anomaly_detect.py --file metrics.csv --value-column value --window 20

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python anomaly_detect.py --file metrics.csv --value-column response_ms --sigma 2.5
  • python anomaly_detect.py --file metrics.csv --time-column timestamp --json
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

anomaly_detect.py

#!/usr/bin/env python3
"""Ищет аномалии в числовой метрике по z-score."""
from __future__ import annotations

import argparse
import csv
import json
import statistics
import sys
from pathlib import Path


def parse_number(value):
    try:
        return float(value)
    except (TypeError, ValueError):
        return None


def main() -> int:
    parser = argparse.ArgumentParser(description="Поиск аномалий в CSV")
    parser.add_argument("--file", required=True, type=Path)
    parser.add_argument("--value-column", default="value")
    parser.add_argument("--time-column", default="")
    parser.add_argument("--window", type=int, default=20)
    parser.add_argument("--sigma", type=float, default=3.0)
    parser.add_argument("--json", action="store_true")
    args = parser.parse_args()

    if args.window < 2:
        print("Окно должно быть не меньше 2", file=sys.stderr)
        return 2

    try:
        handle = args.file.open("r", encoding="utf-8", newline="")
    except OSError as error:
        print(f"ОШИБКА: {error}", file=sys.stderr)
        return 2

    with handle:
        reader = csv.DictReader(handle)
        if not reader.fieldnames or args.value_column not in reader.fieldnames:
            print(f"Нет колонки {args.value_column}", file=sys.stderr)
            return 2
        rows = list(reader)

    values = []
    labels = []
    for index, row in enumerate(rows, start=1):
        value = parse_number(row.get(args.value_column))
        if value is None:
            continue
        values.append(value)
        labels.append(row.get(args.time_column) if args.time_column else str(index))

    anomalies = []
    for position in range(args.window, len(values)):
        window = values[position - args.window:position]
        mean = statistics.mean(window)
        deviation = statistics.pstdev(window)
        if deviation == 0:
            continue
        z_score = (values[position] - mean) / deviation
        if abs(z_score) >= args.sigma:
            anomalies.append(
                {
                    "index": position + 1,
                    "label": labels[position],
                    "value": values[position],
                    "mean": round(mean, 3),
                    "z_score": round(z_score, 2),
                }
            )

    payload = {
        "file": str(args.file),
        "points": len(values),
        "window": args.window,
        "sigma": args.sigma,
        "anomalies": anomalies,
    }
    if args.json:
        print(json.dumps(payload, ensure_ascii=False, indent=2))
    else:
        print(f"Точек: {len(values)}, аномалий: {len(anomalies)}")
        for row in anomalies:
            print(
                f"  {row['label']}: {row['value']} "
                f"(среднее {row['mean']}, z={row['z_score']})"
            )

    return 1 if anomalies else 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get monitoring-anomaly-detect
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Мониторинг и отчёты

Сбор метрик, проверка доступности, отчёты и уведомления.