#!/usr/bin/env python3 """Приведение типов колонок CSV.""" from __future__ import annotations import argparse import json import re from datetime import datetime from pathlib import Path import pandas as pd TYPE_NAMES = {"string", "int", "float", "bool", "date"} TRUE_VALUES = {"true", "1", "yes", "y", "да"} FALSE_VALUES = {"false", "0", "no", "n", "нет"} DATE_FORMATS = ( "%Y-%m-%d", "%d.%m.%Y", "%Y/%m/%d", "%d/%m/%Y", "%m/%d/%Y", "%d-%m-%Y", "%Y-%m-%d %H:%M:%S", "%d.%m.%Y %H:%M:%S", ) def parse_date(value: str): text = str(value).strip() if not text: return pd.NA try: return pd.Timestamp(datetime.fromisoformat(text.replace("Z", "+00:00"))) except ValueError: pass for fmt in DATE_FORMATS: try: return pd.Timestamp(datetime.strptime(text, fmt)) except ValueError: continue return pd.NA def infer_type(series: pd.Series) -> str: values = [str(value).strip() for value in series if str(value).strip() != ""] if not values: return "string" if all(re.fullmatch(r"[+-]?\d+", value) for value in values): return "int" try: for value in values: float(value.replace(",", ".")) except ValueError: pass else: return "float" if all(value.casefold() in TRUE_VALUES | FALSE_VALUES for value in values): return "bool" return "string" def convert(series: pd.Series, target: str) -> pd.Series: if target == "string": return series if target == "int": numeric = pd.to_numeric(series.mask(series == "", pd.NA), errors="coerce") fractional = numeric.notna() & (numeric % 1 != 0) return numeric.mask(fractional).astype("Int64") if target == "float": numeric = pd.to_numeric(series.str.replace(",", ".", regex=False).mask(series == "", pd.NA), errors="coerce") return numeric if target == "bool": def to_bool(value: str): text = str(value).strip().casefold() if text in TRUE_VALUES: return True if text in FALSE_VALUES: return False return pd.NA return series.map(to_bool).astype("boolean") if target == "date": return pd.to_datetime(series.map(parse_date), errors="coerce") raise ValueError(f"Неизвестный тип: {target}") def main() -> int: parser = argparse.ArgumentParser(description="Привести типы колонок CSV") parser.add_argument("--input", type=Path, required=True, help="Исходный CSV") parser.add_argument("--output", type=Path, default=Path("typed.csv"), help="Результат") parser.add_argument("--schema", type=Path, help="JSON-схема: колонка -> тип") parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл") args = parser.parse_args() source = args.input.expanduser().resolve() target = args.output.expanduser().resolve() if not source.is_file(): parser.error(f"Файл не найден: {source}") if source == target: parser.error("Выходной файл не должен совпадать с исходным") if target.exists() and not args.force: parser.error(f"Файл уже существует: {target}. Добавьте --force") frame = pd.read_csv(source, dtype=str, keep_default_na=False, encoding="utf-8-sig") schema: dict[str, str] = {} if args.schema: try: loaded = json.loads(args.schema.read_text(encoding="utf-8")) except (OSError, json.JSONDecodeError) as error: parser.error(f"Не удалось прочитать схему: {error}") if not isinstance(loaded, dict): parser.error("Схема должна быть объектом колонка: тип") for column, target_type in loaded.items(): if target_type not in TYPE_NAMES: parser.error(f"Неизвестный тип {target_type} для {column}") schema[str(column)] = str(target_type) missing = [name for name in schema if name not in frame.columns] if missing: parser.error("Нет колонок: " + ", ".join(missing)) for column in frame.columns: schema.setdefault(column, infer_type(frame[column])) before = frame.isna().sum() converted = frame.copy() for column, target_type in schema.items(): converted[column] = convert(frame[column], target_type) after = converted.isna().sum() print("Колонки и типы:") for column in converted.columns: added = int(after[column] - before[column]) mark = f", новых пустых: {added}" if added > 0 else "" print(f" {column}: {schema[column]}{mark}") target.parent.mkdir(parents=True, exist_ok=True) converted.to_csv(target, index=False, encoding="utf-8-sig", date_format="%Y-%m-%d") print(f"Строк: {len(converted)}") print(f"Результат: {target}") return 0 if __name__ == "__main__": raise SystemExit(main())