Привести типы колонок CSV
Преобразует текстовые колонки в числа, даты и логические значения и показывает ошибки преобразования.
Что делает скрипт
Скрипт читает CSV как строки, затем приводит колонки к типам по JSON-схеме или автоматически определяет int, float и bool. Даты лучше указывать в схеме явно, чтобы не угадывать формат. Значения, которые не удалось преобразовать, становятся пустыми, а их количество выводится в отчёте. Создаётся новый CSV.
- Некорректные значения заменяются пустыми. Проверьте отчёт о количестве преобразований.
Быстрый старт
python convert_types.py --input raw.csv --schema schema.json --output typed.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python convert_types.py --input raw.csv --output typed.csvpython convert_types.py --input sales.csv --schema types.json --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
py -m pip install pandas
python3 -m pip install pandas
python3 -m pip install pandas
convert_types.py
#!/usr/bin/env python3
"""Приведение типов колонок CSV."""
from __future__ import annotations
import argparse
import json
import re
from datetime import datetime
from pathlib import Path
import pandas as pd
TYPE_NAMES = {"string", "int", "float", "bool", "date"}
TRUE_VALUES = {"true", "1", "yes", "y", "да"}
FALSE_VALUES = {"false", "0", "no", "n", "нет"}
DATE_FORMATS = (
"%Y-%m-%d",
"%d.%m.%Y",
"%Y/%m/%d",
"%d/%m/%Y",
"%m/%d/%Y",
"%d-%m-%Y",
"%Y-%m-%d %H:%M:%S",
"%d.%m.%Y %H:%M:%S",
)
def parse_date(value: str):
text = str(value).strip()
if not text:
return pd.NA
try:
return pd.Timestamp(datetime.fromisoformat(text.replace("Z", "+00:00")))
except ValueError:
pass
for fmt in DATE_FORMATS:
try:
return pd.Timestamp(datetime.strptime(text, fmt))
except ValueError:
continue
return pd.NA
def infer_type(series: pd.Series) -> str:
values = [str(value).strip() for value in series if str(value).strip() != ""]
if not values:
return "string"
if all(re.fullmatch(r"[+-]?\d+", value) for value in values):
return "int"
try:
for value in values:
float(value.replace(",", "."))
except ValueError:
pass
else:
return "float"
if all(value.casefold() in TRUE_VALUES | FALSE_VALUES for value in values):
return "bool"
return "string"
def convert(series: pd.Series, target: str) -> pd.Series:
if target == "string":
return series
if target == "int":
numeric = pd.to_numeric(series.mask(series == "", pd.NA), errors="coerce")
fractional = numeric.notna() & (numeric % 1 != 0)
return numeric.mask(fractional).astype("Int64")
if target == "float":
numeric = pd.to_numeric(series.str.replace(",", ".", regex=False).mask(series == "", pd.NA), errors="coerce")
return numeric
if target == "bool":
def to_bool(value: str):
text = str(value).strip().casefold()
if text in TRUE_VALUES:
return True
if text in FALSE_VALUES:
return False
return pd.NA
return series.map(to_bool).astype("boolean")
if target == "date":
return pd.to_datetime(series.map(parse_date), errors="coerce")
raise ValueError(f"Неизвестный тип: {target}")
def main() -> int:
parser = argparse.ArgumentParser(description="Привести типы колонок CSV")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--output", type=Path, default=Path("typed.csv"), help="Результат")
parser.add_argument("--schema", type=Path, help="JSON-схема: колонка -> тип")
parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
args = parser.parse_args()
source = args.input.expanduser().resolve()
target = args.output.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if source == target:
parser.error("Выходной файл не должен совпадать с исходным")
if target.exists() and not args.force:
parser.error(f"Файл уже существует: {target}. Добавьте --force")
frame = pd.read_csv(source, dtype=str, keep_default_na=False, encoding="utf-8-sig")
schema: dict[str, str] = {}
if args.schema:
try:
loaded = json.loads(args.schema.read_text(encoding="utf-8"))
except (OSError, json.JSONDecodeError) as error:
parser.error(f"Не удалось прочитать схему: {error}")
if not isinstance(loaded, dict):
parser.error("Схема должна быть объектом колонка: тип")
for column, target_type in loaded.items():
if target_type not in TYPE_NAMES:
parser.error(f"Неизвестный тип {target_type} для {column}")
schema[str(column)] = str(target_type)
missing = [name for name in schema if name not in frame.columns]
if missing:
parser.error("Нет колонок: " + ", ".join(missing))
for column in frame.columns:
schema.setdefault(column, infer_type(frame[column]))
before = frame.isna().sum()
converted = frame.copy()
for column, target_type in schema.items():
converted[column] = convert(frame[column], target_type)
after = converted.isna().sum()
print("Колонки и типы:")
for column in converted.columns:
added = int(after[column] - before[column])
mark = f", новых пустых: {added}" if added > 0 else ""
print(f" {column}: {schema[column]}{mark}")
target.parent.mkdir(parents=True, exist_ok=True)
converted.to_csv(target, index=False, encoding="utf-8-sig", date_format="%Y-%m-%d")
print(f"Строк: {len(converted)}")
print(f"Результат: {target}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.