Найти аномалии в метрике
Считает z-score по скользящему окну и показывает точки, выходящие за порог сигм.
Что делает скрипт
Скрипт читает CSV с числовой метрикой, берет предыдущие N значений как окно и сравнивает текущее значение со средним и стандартным отклонением. Если отклонение превышает заданное число сигм, точка попадает в отчет. Есть текстовый и JSON-вывод.
Быстрый старт
python anomaly_detect.py --file metrics.csv --value-column value --window 20
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python anomaly_detect.py --file metrics.csv --value-column response_ms --sigma 2.5python anomaly_detect.py --file metrics.csv --time-column timestamp --json
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
anomaly_detect.py
#!/usr/bin/env python3
"""Ищет аномалии в числовой метрике по z-score."""
from __future__ import annotations
import argparse
import csv
import json
import statistics
import sys
from pathlib import Path
def parse_number(value):
try:
return float(value)
except (TypeError, ValueError):
return None
def main() -> int:
parser = argparse.ArgumentParser(description="Поиск аномалий в CSV")
parser.add_argument("--file", required=True, type=Path)
parser.add_argument("--value-column", default="value")
parser.add_argument("--time-column", default="")
parser.add_argument("--window", type=int, default=20)
parser.add_argument("--sigma", type=float, default=3.0)
parser.add_argument("--json", action="store_true")
args = parser.parse_args()
if args.window < 2:
print("Окно должно быть не меньше 2", file=sys.stderr)
return 2
try:
handle = args.file.open("r", encoding="utf-8", newline="")
except OSError as error:
print(f"ОШИБКА: {error}", file=sys.stderr)
return 2
with handle:
reader = csv.DictReader(handle)
if not reader.fieldnames or args.value_column not in reader.fieldnames:
print(f"Нет колонки {args.value_column}", file=sys.stderr)
return 2
rows = list(reader)
values = []
labels = []
for index, row in enumerate(rows, start=1):
value = parse_number(row.get(args.value_column))
if value is None:
continue
values.append(value)
labels.append(row.get(args.time_column) if args.time_column else str(index))
anomalies = []
for position in range(args.window, len(values)):
window = values[position - args.window:position]
mean = statistics.mean(window)
deviation = statistics.pstdev(window)
if deviation == 0:
continue
z_score = (values[position] - mean) / deviation
if abs(z_score) >= args.sigma:
anomalies.append(
{
"index": position + 1,
"label": labels[position],
"value": values[position],
"mean": round(mean, 3),
"z_score": round(z_score, 2),
}
)
payload = {
"file": str(args.file),
"points": len(values),
"window": args.window,
"sigma": args.sigma,
"anomalies": anomalies,
}
if args.json:
print(json.dumps(payload, ensure_ascii=False, indent=2))
else:
print(f"Точек: {len(values)}, аномалий: {len(anomalies)}")
for row in anomalies:
print(
f" {row['label']}: {row['value']} "
f"(среднее {row['mean']}, z={row['z_score']})"
)
return 1 if anomalies else 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.