Данные и таблицы

Привести типы колонок CSV

Преобразует текстовые колонки в числа, даты и логические значения и показывает ошибки преобразования.

Python Windows macOS Linux Продвинутый
Скачать convert_types.py
Описание

Что делает скрипт

Скрипт читает CSV как строки, затем приводит колонки к типам по JSON-схеме или автоматически определяет int, float и bool. Даты лучше указывать в схеме явно, чтобы не угадывать формат. Значения, которые не удалось преобразовать, становятся пустыми, а их количество выводится в отчёте. Создаётся новый CSV.

Перед запуском
  • Некорректные значения заменяются пустыми. Проверьте отчёт о количестве преобразований.
Запуск

Быстрый старт

python convert_types.py --input raw.csv --schema schema.json --output typed.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python convert_types.py --input raw.csv --output typed.csv
  • python convert_types.py --input sales.csv --schema types.json --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
pandas Таблицы и агрегаты
Windows py -m pip install pandas
macOS python3 -m pip install pandas
Linux python3 -m pip install pandas
Исходник

convert_types.py

#!/usr/bin/env python3
"""Приведение типов колонок CSV."""
from __future__ import annotations

import argparse
import json
import re
from datetime import datetime
from pathlib import Path

import pandas as pd

TYPE_NAMES = {"string", "int", "float", "bool", "date"}
TRUE_VALUES = {"true", "1", "yes", "y", "да"}
FALSE_VALUES = {"false", "0", "no", "n", "нет"}
DATE_FORMATS = (
    "%Y-%m-%d",
    "%d.%m.%Y",
    "%Y/%m/%d",
    "%d/%m/%Y",
    "%m/%d/%Y",
    "%d-%m-%Y",
    "%Y-%m-%d %H:%M:%S",
    "%d.%m.%Y %H:%M:%S",
)


def parse_date(value: str):
    text = str(value).strip()
    if not text:
        return pd.NA
    try:
        return pd.Timestamp(datetime.fromisoformat(text.replace("Z", "+00:00")))
    except ValueError:
        pass
    for fmt in DATE_FORMATS:
        try:
            return pd.Timestamp(datetime.strptime(text, fmt))
        except ValueError:
            continue
    return pd.NA


def infer_type(series: pd.Series) -> str:
    values = [str(value).strip() for value in series if str(value).strip() != ""]
    if not values:
        return "string"
    if all(re.fullmatch(r"[+-]?\d+", value) for value in values):
        return "int"
    try:
        for value in values:
            float(value.replace(",", "."))
    except ValueError:
        pass
    else:
        return "float"
    if all(value.casefold() in TRUE_VALUES | FALSE_VALUES for value in values):
        return "bool"
    return "string"


def convert(series: pd.Series, target: str) -> pd.Series:
    if target == "string":
        return series
    if target == "int":
        numeric = pd.to_numeric(series.mask(series == "", pd.NA), errors="coerce")
        fractional = numeric.notna() & (numeric % 1 != 0)
        return numeric.mask(fractional).astype("Int64")
    if target == "float":
        numeric = pd.to_numeric(series.str.replace(",", ".", regex=False).mask(series == "", pd.NA), errors="coerce")
        return numeric
    if target == "bool":
        def to_bool(value: str):
            text = str(value).strip().casefold()
            if text in TRUE_VALUES:
                return True
            if text in FALSE_VALUES:
                return False
            return pd.NA

        return series.map(to_bool).astype("boolean")
    if target == "date":
        return pd.to_datetime(series.map(parse_date), errors="coerce")
    raise ValueError(f"Неизвестный тип: {target}")


def main() -> int:
    parser = argparse.ArgumentParser(description="Привести типы колонок CSV")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--output", type=Path, default=Path("typed.csv"), help="Результат")
    parser.add_argument("--schema", type=Path, help="JSON-схема: колонка -> тип")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if source == target:
        parser.error("Выходной файл не должен совпадать с исходным")
    if target.exists() and not args.force:
        parser.error(f"Файл уже существует: {target}. Добавьте --force")

    frame = pd.read_csv(source, dtype=str, keep_default_na=False, encoding="utf-8-sig")
    schema: dict[str, str] = {}
    if args.schema:
        try:
            loaded = json.loads(args.schema.read_text(encoding="utf-8"))
        except (OSError, json.JSONDecodeError) as error:
            parser.error(f"Не удалось прочитать схему: {error}")
        if not isinstance(loaded, dict):
            parser.error("Схема должна быть объектом колонка: тип")
        for column, target_type in loaded.items():
            if target_type not in TYPE_NAMES:
                parser.error(f"Неизвестный тип {target_type} для {column}")
            schema[str(column)] = str(target_type)

    missing = [name for name in schema if name not in frame.columns]
    if missing:
        parser.error("Нет колонок: " + ", ".join(missing))

    for column in frame.columns:
        schema.setdefault(column, infer_type(frame[column]))

    before = frame.isna().sum()
    converted = frame.copy()
    for column, target_type in schema.items():
        converted[column] = convert(frame[column], target_type)

    after = converted.isna().sum()
    print("Колонки и типы:")
    for column in converted.columns:
        added = int(after[column] - before[column])
        mark = f", новых пустых: {added}" if added > 0 else ""
        print(f"  {column}: {schema[column]}{mark}")

    target.parent.mkdir(parents=True, exist_ok=True)
    converted.to_csv(target, index=False, encoding="utf-8-sig", date_format="%Y-%m-%d")
    print(f"Строк: {len(converted)}")
    print(f"Результат: {target}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-csv-types
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.

Теги