#!/usr/bin/env python3 """Валидация CSV по JSON-описанию правил.""" from __future__ import annotations import argparse import csv import json import re from datetime import datetime from pathlib import Path TRUE_VALUES = {"true", "1", "yes", "y", "да"} FALSE_VALUES = {"false", "0", "no", "n", "нет"} def validate_value(value: str, rule: dict) -> list[str]: text = value.strip() messages: list[str] = [] if not text: if rule.get("required"): messages.append("обязательное значение") return messages kind = rule.get("type") number = None if kind == "int": if not re.fullmatch(r"[+-]?\d+", text): messages.append("ожидается целое число") else: number = float(text) elif kind == "float": try: number = float(text.replace(",", ".")) except ValueError: messages.append("ожидается число") elif kind == "bool": if text.casefold() not in TRUE_VALUES | FALSE_VALUES: messages.append("ожидается true или false") elif kind == "date": pattern = rule.get("format", "%Y-%m-%d") try: datetime.strptime(text, pattern) except ValueError: messages.append(f"ожидается дата в формате {pattern}") if number is not None: if "min" in rule and number < float(rule["min"]): messages.append(f"меньше минимума {rule['min']}") if "max" in rule and number > float(rule["max"]): messages.append(f"больше максимума {rule['max']}") if "min_length" in rule and len(text) < int(rule["min_length"]): messages.append(f"короче {rule['min_length']} символов") if "max_length" in rule and len(text) > int(rule["max_length"]): messages.append(f"длиннее {rule['max_length']} символов") if rule.get("regex"): try: if not re.fullmatch(str(rule["regex"]), text): messages.append("не соответствует регулярному выражению") except re.error: messages.append("некорректное регулярное выражение в правилах") if rule.get("allowed") and text not in {str(item) for item in rule["allowed"]}: messages.append("значение не входит в список допустимых") return messages def main() -> int: parser = argparse.ArgumentParser(description="Валидация CSV по правилам") parser.add_argument("--input", type=Path, required=True, help="Исходный CSV") parser.add_argument("--rules", type=Path, required=True, help="JSON с правилами") parser.add_argument("--output", type=Path, default=Path("validation_errors.csv"), help="CSV с ошибками") parser.add_argument("--delimiter", default=",", help="Разделитель колонок") parser.add_argument("--max-errors", type=int, default=10000, help="Остановиться после N ошибок") parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл") args = parser.parse_args() source = args.input.expanduser().resolve() rules_path = args.rules.expanduser().resolve() target = args.output.expanduser().resolve() if not source.is_file(): parser.error(f"Файл не найден: {source}") if not rules_path.is_file(): parser.error(f"Правила не найдены: {rules_path}") if source == target: parser.error("Отчёт не должен совпадать с исходным файлом") if target.exists() and not args.force: parser.error(f"Файл уже существует: {target}. Добавьте --force") if len(args.delimiter) != 1: parser.error("Разделитель должен состоять из одного символа") try: rules = json.loads(rules_path.read_text(encoding="utf-8")) except (OSError, json.JSONDecodeError) as error: parser.error(f"Не удалось прочитать правила: {error}") if not isinstance(rules, dict): parser.error("Правила должны быть JSON-объектом") column_rules = rules.get("columns", {}) if not isinstance(column_rules, dict): parser.error("Поле columns должно быть объектом") required_columns = [str(item) for item in rules.get("required_columns", [])] unique_columns = [str(item) for item in rules.get("unique", [])] unique_columns += [name for name, rule in column_rules.items() if isinstance(rule, dict) and rule.get("unique")] errors: list[dict[str, object]] = [] with source.open("r", encoding="utf-8-sig", newline="") as handle: reader = csv.DictReader(handle, delimiter=args.delimiter) if reader.fieldnames is None: parser.error("Не удалось прочитать заголовок") header = list(reader.fieldnames) for column in required_columns: if column not in header: errors.append({"row": 0, "column": column, "value": "", "message": "нет обязательной колонки"}) unknown = [name for name in column_rules if name not in header] for column in unknown: errors.append({"row": 0, "column": column, "value": "", "message": "правило для отсутствующей колонки"}) seen_unique: dict[str, set[str]] = {column: set() for column in unique_columns} for row in reader: row_number = reader.line_num for column, rule in column_rules.items(): if column not in header or not isinstance(rule, dict): continue value = row.get(column, "") or "" for message in validate_value(value, rule): errors.append({"row": row_number, "column": column, "value": value, "message": message}) if column in seen_unique and value.strip(): key = value.strip() if key in seen_unique[column]: errors.append({"row": row_number, "column": column, "value": value, "message": "повторяющееся значение"}) else: seen_unique[column].add(key) for column in unique_columns: if column not in column_rules and column in header: value = (row.get(column) or "").strip() if value: if value in seen_unique[column]: errors.append({"row": row_number, "column": column, "value": value, "message": "повторяющееся значение"}) else: seen_unique[column].add(value) if len(errors) >= args.max_errors: break target.parent.mkdir(parents=True, exist_ok=True) with target.open("w", encoding="utf-8", newline="") as handle: writer = csv.DictWriter(handle, fieldnames=["row", "column", "value", "message"], lineterminator="\n") writer.writeheader() writer.writerows(errors) print(f"Проверено колонок: {len(header)}") print(f"Ошибок: {len(errors)}") print(f"Отчёт: {target}") return 1 if errors else 0 if __name__ == "__main__": raise SystemExit(main())