Данные и таблицы

Проверить CSV по правилам

Валидирует колонки, типы, регулярные выражения, диапазоны и уникальность по JSON-правилам.

Python Windows macOS Linux Продвинутый
Скачать validate_csv.py
Описание

Что делает скрипт

Правила задаются в JSON: обязательные колонки, тип, regex, допустимые значения, min/max и уникальность. Скрипт собирает ошибки с номерами строк и сохраняет их в CSV, а при находках завершается с кодом 1. Это удобно для проверки выгрузок перед загрузкой в базу.

Перед запуском
  • Скрипт возвращает код 1, если найдены ошибки. Это нормальное поведение для CI.
Запуск

Быстрый старт

python validate_csv.py --input users.csv --rules rules.json --output errors.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python validate_csv.py --input orders.csv --rules rules.json
  • python validate_csv.py --input data.csv --rules rules.json --output errors.csv --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

validate_csv.py

#!/usr/bin/env python3
"""Валидация CSV по JSON-описанию правил."""
from __future__ import annotations

import argparse
import csv
import json
import re
from datetime import datetime
from pathlib import Path

TRUE_VALUES = {"true", "1", "yes", "y", "да"}
FALSE_VALUES = {"false", "0", "no", "n", "нет"}


def validate_value(value: str, rule: dict) -> list[str]:
    text = value.strip()
    messages: list[str] = []
    if not text:
        if rule.get("required"):
            messages.append("обязательное значение")
        return messages

    kind = rule.get("type")
    number = None
    if kind == "int":
        if not re.fullmatch(r"[+-]?\d+", text):
            messages.append("ожидается целое число")
        else:
            number = float(text)
    elif kind == "float":
        try:
            number = float(text.replace(",", "."))
        except ValueError:
            messages.append("ожидается число")
    elif kind == "bool":
        if text.casefold() not in TRUE_VALUES | FALSE_VALUES:
            messages.append("ожидается true или false")
    elif kind == "date":
        pattern = rule.get("format", "%Y-%m-%d")
        try:
            datetime.strptime(text, pattern)
        except ValueError:
            messages.append(f"ожидается дата в формате {pattern}")

    if number is not None:
        if "min" in rule and number < float(rule["min"]):
            messages.append(f"меньше минимума {rule['min']}")
        if "max" in rule and number > float(rule["max"]):
            messages.append(f"больше максимума {rule['max']}")
    if "min_length" in rule and len(text) < int(rule["min_length"]):
        messages.append(f"короче {rule['min_length']} символов")
    if "max_length" in rule and len(text) > int(rule["max_length"]):
        messages.append(f"длиннее {rule['max_length']} символов")
    if rule.get("regex"):
        try:
            if not re.fullmatch(str(rule["regex"]), text):
                messages.append("не соответствует регулярному выражению")
        except re.error:
            messages.append("некорректное регулярное выражение в правилах")
    if rule.get("allowed") and text not in {str(item) for item in rule["allowed"]}:
        messages.append("значение не входит в список допустимых")
    return messages


def main() -> int:
    parser = argparse.ArgumentParser(description="Валидация CSV по правилам")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--rules", type=Path, required=True, help="JSON с правилами")
    parser.add_argument("--output", type=Path, default=Path("validation_errors.csv"), help="CSV с ошибками")
    parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
    parser.add_argument("--max-errors", type=int, default=10000, help="Остановиться после N ошибок")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    rules_path = args.rules.expanduser().resolve()
    target = args.output.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if not rules_path.is_file():
        parser.error(f"Правила не найдены: {rules_path}")
    if source == target:
        parser.error("Отчёт не должен совпадать с исходным файлом")
    if target.exists() and not args.force:
        parser.error(f"Файл уже существует: {target}. Добавьте --force")
    if len(args.delimiter) != 1:
        parser.error("Разделитель должен состоять из одного символа")

    try:
        rules = json.loads(rules_path.read_text(encoding="utf-8"))
    except (OSError, json.JSONDecodeError) as error:
        parser.error(f"Не удалось прочитать правила: {error}")
    if not isinstance(rules, dict):
        parser.error("Правила должны быть JSON-объектом")

    column_rules = rules.get("columns", {})
    if not isinstance(column_rules, dict):
        parser.error("Поле columns должно быть объектом")
    required_columns = [str(item) for item in rules.get("required_columns", [])]
    unique_columns = [str(item) for item in rules.get("unique", [])]
    unique_columns += [name for name, rule in column_rules.items() if isinstance(rule, dict) and rule.get("unique")]

    errors: list[dict[str, object]] = []
    with source.open("r", encoding="utf-8-sig", newline="") as handle:
        reader = csv.DictReader(handle, delimiter=args.delimiter)
        if reader.fieldnames is None:
            parser.error("Не удалось прочитать заголовок")
        header = list(reader.fieldnames)
        for column in required_columns:
            if column not in header:
                errors.append({"row": 0, "column": column, "value": "", "message": "нет обязательной колонки"})
        unknown = [name for name in column_rules if name not in header]
        for column in unknown:
            errors.append({"row": 0, "column": column, "value": "", "message": "правило для отсутствующей колонки"})

        seen_unique: dict[str, set[str]] = {column: set() for column in unique_columns}
        for row in reader:
            row_number = reader.line_num
            for column, rule in column_rules.items():
                if column not in header or not isinstance(rule, dict):
                    continue
                value = row.get(column, "") or ""
                for message in validate_value(value, rule):
                    errors.append({"row": row_number, "column": column, "value": value, "message": message})
                if column in seen_unique and value.strip():
                    key = value.strip()
                    if key in seen_unique[column]:
                        errors.append({"row": row_number, "column": column, "value": value,
                                       "message": "повторяющееся значение"})
                    else:
                        seen_unique[column].add(key)
            for column in unique_columns:
                if column not in column_rules and column in header:
                    value = (row.get(column) or "").strip()
                    if value:
                        if value in seen_unique[column]:
                            errors.append({"row": row_number, "column": column, "value": value,
                                           "message": "повторяющееся значение"})
                        else:
                            seen_unique[column].add(value)
            if len(errors) >= args.max_errors:
                break

    target.parent.mkdir(parents=True, exist_ok=True)
    with target.open("w", encoding="utf-8", newline="") as handle:
        writer = csv.DictWriter(handle, fieldnames=["row", "column", "value", "message"], lineterminator="\n")
        writer.writeheader()
        writer.writerows(errors)

    print(f"Проверено колонок: {len(header)}")
    print(f"Ошибок: {len(errors)}")
    print(f"Отчёт: {target}")
    return 1 if errors else 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-validate-csv
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.