Проверить CSV по правилам
Валидирует колонки, типы, регулярные выражения, диапазоны и уникальность по JSON-правилам.
Что делает скрипт
Правила задаются в JSON: обязательные колонки, тип, regex, допустимые значения, min/max и уникальность. Скрипт собирает ошибки с номерами строк и сохраняет их в CSV, а при находках завершается с кодом 1. Это удобно для проверки выгрузок перед загрузкой в базу.
- Скрипт возвращает код 1, если найдены ошибки. Это нормальное поведение для CI.
Быстрый старт
python validate_csv.py --input users.csv --rules rules.json --output errors.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python validate_csv.py --input orders.csv --rules rules.jsonpython validate_csv.py --input data.csv --rules rules.json --output errors.csv --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
validate_csv.py
#!/usr/bin/env python3
"""Валидация CSV по JSON-описанию правил."""
from __future__ import annotations
import argparse
import csv
import json
import re
from datetime import datetime
from pathlib import Path
TRUE_VALUES = {"true", "1", "yes", "y", "да"}
FALSE_VALUES = {"false", "0", "no", "n", "нет"}
def validate_value(value: str, rule: dict) -> list[str]:
text = value.strip()
messages: list[str] = []
if not text:
if rule.get("required"):
messages.append("обязательное значение")
return messages
kind = rule.get("type")
number = None
if kind == "int":
if not re.fullmatch(r"[+-]?\d+", text):
messages.append("ожидается целое число")
else:
number = float(text)
elif kind == "float":
try:
number = float(text.replace(",", "."))
except ValueError:
messages.append("ожидается число")
elif kind == "bool":
if text.casefold() not in TRUE_VALUES | FALSE_VALUES:
messages.append("ожидается true или false")
elif kind == "date":
pattern = rule.get("format", "%Y-%m-%d")
try:
datetime.strptime(text, pattern)
except ValueError:
messages.append(f"ожидается дата в формате {pattern}")
if number is not None:
if "min" in rule and number < float(rule["min"]):
messages.append(f"меньше минимума {rule['min']}")
if "max" in rule and number > float(rule["max"]):
messages.append(f"больше максимума {rule['max']}")
if "min_length" in rule and len(text) < int(rule["min_length"]):
messages.append(f"короче {rule['min_length']} символов")
if "max_length" in rule and len(text) > int(rule["max_length"]):
messages.append(f"длиннее {rule['max_length']} символов")
if rule.get("regex"):
try:
if not re.fullmatch(str(rule["regex"]), text):
messages.append("не соответствует регулярному выражению")
except re.error:
messages.append("некорректное регулярное выражение в правилах")
if rule.get("allowed") and text not in {str(item) for item in rule["allowed"]}:
messages.append("значение не входит в список допустимых")
return messages
def main() -> int:
parser = argparse.ArgumentParser(description="Валидация CSV по правилам")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--rules", type=Path, required=True, help="JSON с правилами")
parser.add_argument("--output", type=Path, default=Path("validation_errors.csv"), help="CSV с ошибками")
parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
parser.add_argument("--max-errors", type=int, default=10000, help="Остановиться после N ошибок")
parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
args = parser.parse_args()
source = args.input.expanduser().resolve()
rules_path = args.rules.expanduser().resolve()
target = args.output.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if not rules_path.is_file():
parser.error(f"Правила не найдены: {rules_path}")
if source == target:
parser.error("Отчёт не должен совпадать с исходным файлом")
if target.exists() and not args.force:
parser.error(f"Файл уже существует: {target}. Добавьте --force")
if len(args.delimiter) != 1:
parser.error("Разделитель должен состоять из одного символа")
try:
rules = json.loads(rules_path.read_text(encoding="utf-8"))
except (OSError, json.JSONDecodeError) as error:
parser.error(f"Не удалось прочитать правила: {error}")
if not isinstance(rules, dict):
parser.error("Правила должны быть JSON-объектом")
column_rules = rules.get("columns", {})
if not isinstance(column_rules, dict):
parser.error("Поле columns должно быть объектом")
required_columns = [str(item) for item in rules.get("required_columns", [])]
unique_columns = [str(item) for item in rules.get("unique", [])]
unique_columns += [name for name, rule in column_rules.items() if isinstance(rule, dict) and rule.get("unique")]
errors: list[dict[str, object]] = []
with source.open("r", encoding="utf-8-sig", newline="") as handle:
reader = csv.DictReader(handle, delimiter=args.delimiter)
if reader.fieldnames is None:
parser.error("Не удалось прочитать заголовок")
header = list(reader.fieldnames)
for column in required_columns:
if column not in header:
errors.append({"row": 0, "column": column, "value": "", "message": "нет обязательной колонки"})
unknown = [name for name in column_rules if name not in header]
for column in unknown:
errors.append({"row": 0, "column": column, "value": "", "message": "правило для отсутствующей колонки"})
seen_unique: dict[str, set[str]] = {column: set() for column in unique_columns}
for row in reader:
row_number = reader.line_num
for column, rule in column_rules.items():
if column not in header or not isinstance(rule, dict):
continue
value = row.get(column, "") or ""
for message in validate_value(value, rule):
errors.append({"row": row_number, "column": column, "value": value, "message": message})
if column in seen_unique and value.strip():
key = value.strip()
if key in seen_unique[column]:
errors.append({"row": row_number, "column": column, "value": value,
"message": "повторяющееся значение"})
else:
seen_unique[column].add(key)
for column in unique_columns:
if column not in column_rules and column in header:
value = (row.get(column) or "").strip()
if value:
if value in seen_unique[column]:
errors.append({"row": row_number, "column": column, "value": value,
"message": "повторяющееся значение"})
else:
seen_unique[column].add(value)
if len(errors) >= args.max_errors:
break
target.parent.mkdir(parents=True, exist_ok=True)
with target.open("w", encoding="utf-8", newline="") as handle:
writer = csv.DictWriter(handle, fieldnames=["row", "column", "value", "message"], lineterminator="\n")
writer.writeheader()
writer.writerows(errors)
print(f"Проверено колонок: {len(header)}")
print(f"Ошибок: {len(errors)}")
print(f"Отчёт: {target}")
return 1 if errors else 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.