Данные и таблицы

Привести даты к ISO

Распознаёт несколько форматов дат и заменяет их на YYYY-MM-DD, собирая ошибки отдельно.

Python Windows macOS Linux Средний
Скачать normalize_dates.py
Описание

Что делает скрипт

Скрипт поддерживает ISO, точки, слэши, дефисы и варианты с временем. Для неоднозначных слэшей по умолчанию считается день/месяц, флаг --monthfirst переключает на месяц/день. Нераспознанные значения остаются как есть и попадают в CSV ошибок.

Перед запуском
  • Для неоднозначных дат вроде 03/04/2025 формат зависит от --monthfirst. Проверьте ошибки перед загрузкой.
Запуск

Быстрый старт

python normalize_dates.py --input orders.csv --column created --output orders_iso.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python normalize_dates.py --input data.csv --column date --monthfirst
  • python normalize_dates.py --input events.csv --column happened_at --errors bad_dates.csv --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

normalize_dates.py

#!/usr/bin/env python3
"""Нормализация дат в CSV."""
from __future__ import annotations

import argparse
import csv
from datetime import datetime
from pathlib import Path


def build_formats(month_first: bool, custom: str) -> list[str]:
    if custom:
        return [item.strip() for item in custom.split(",") if item.strip()]
    formats = [
        "%Y-%m-%d",
        "%d.%m.%Y",
        "%Y/%m/%d",
        "%d-%m-%Y",
        "%Y-%m-%d %H:%M:%S",
        "%d.%m.%Y %H:%M:%S",
    ]
    if month_first:
        formats.extend(["%m/%d/%Y", "%m/%d/%Y %H:%M:%S"])
    else:
        formats.extend(["%d/%m/%Y", "%d/%m/%Y %H:%M:%S"])
    return formats


def parse_date(text: str, formats: list[str]) -> datetime | None:
    value = text.strip()
    if not value:
        return None
    try:
        return datetime.fromisoformat(value.replace("Z", "+00:00"))
    except ValueError:
        pass
    for fmt in formats:
        try:
            return datetime.strptime(value, fmt)
        except ValueError:
            continue
    return None


def main() -> int:
    parser = argparse.ArgumentParser(description="Нормализация дат")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--column", required=True, help="Колонка с датой")
    parser.add_argument("--output", type=Path, default=Path("dates_normalized.csv"), help="Результат")
    parser.add_argument("--errors", type=Path, default=Path("date_errors.csv"), help="Ошибки разбора")
    parser.add_argument("--formats", default="", help="Форматы strftime через запятую")
    parser.add_argument("--monthfirst", action="store_true", help="Слэш-даты в формате месяц/день")
    parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    errors_path = args.errors.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if source in {target, errors_path} or target == errors_path:
        parser.error("Выходные файлы не должны совпадать с исходным или друг с другом")
    for path in (target, errors_path):
        if path.exists() and not args.force:
            parser.error(f"Файл уже существует: {path}. Добавьте --force")
    if len(args.delimiter) != 1:
        parser.error("Разделитель должен состоять из одного символа")

    formats = build_formats(args.monthfirst, args.formats)
    if not formats:
        parser.error("Список форматов пуст")

    with source.open("r", encoding="utf-8-sig", newline="") as handle:
        reader = csv.DictReader(handle, delimiter=args.delimiter)
        if reader.fieldnames is None:
            parser.error("Не удалось прочитать заголовок")
        if args.column not in reader.fieldnames:
            parser.error(f"Нет колонки: {args.column}")
        rows = []
        errors = []
        converted = 0
        for row in reader:
            raw = row.get(args.column) or ""
            parsed = parse_date(raw, formats)
            if parsed is None:
                if raw.strip():
                    errors.append({"row": reader.line_num, "column": args.column, "value": raw,
                                   "message": "не удалось распознать дату"})
                rows.append(row)
                continue
            has_time = parsed.hour or parsed.minute or parsed.second
            row[args.column] = parsed.strftime("%Y-%m-%d %H:%M:%S" if has_time else "%Y-%m-%d")
            rows.append(row)
            converted += 1

    target.parent.mkdir(parents=True, exist_ok=True)
    with target.open("w", encoding="utf-8", newline="") as handle:
        writer = csv.DictWriter(handle, fieldnames=reader.fieldnames, delimiter=args.delimiter, lineterminator="\n")
        writer.writeheader()
        writer.writerows(rows)

    errors_path.parent.mkdir(parents=True, exist_ok=True)
    with errors_path.open("w", encoding="utf-8", newline="") as handle:
        writer = csv.DictWriter(handle, fieldnames=["row", "column", "value", "message"], lineterminator="\n")
        writer.writeheader()
        writer.writerows(errors)

    print(f"Строк: {len(rows)}")
    print(f"Распознано дат: {converted}")
    print(f"Ошибок: {len(errors)}")
    print(f"Результат: {target}")
    print(f"Ошибки: {errors_path}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-normalize-dates
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.