Привести даты к ISO
Распознаёт несколько форматов дат и заменяет их на YYYY-MM-DD, собирая ошибки отдельно.
Что делает скрипт
Скрипт поддерживает ISO, точки, слэши, дефисы и варианты с временем. Для неоднозначных слэшей по умолчанию считается день/месяц, флаг --monthfirst переключает на месяц/день. Нераспознанные значения остаются как есть и попадают в CSV ошибок.
- Для неоднозначных дат вроде 03/04/2025 формат зависит от --monthfirst. Проверьте ошибки перед загрузкой.
Быстрый старт
python normalize_dates.py --input orders.csv --column created --output orders_iso.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python normalize_dates.py --input data.csv --column date --monthfirstpython normalize_dates.py --input events.csv --column happened_at --errors bad_dates.csv --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
normalize_dates.py
#!/usr/bin/env python3
"""Нормализация дат в CSV."""
from __future__ import annotations
import argparse
import csv
from datetime import datetime
from pathlib import Path
def build_formats(month_first: bool, custom: str) -> list[str]:
if custom:
return [item.strip() for item in custom.split(",") if item.strip()]
formats = [
"%Y-%m-%d",
"%d.%m.%Y",
"%Y/%m/%d",
"%d-%m-%Y",
"%Y-%m-%d %H:%M:%S",
"%d.%m.%Y %H:%M:%S",
]
if month_first:
formats.extend(["%m/%d/%Y", "%m/%d/%Y %H:%M:%S"])
else:
formats.extend(["%d/%m/%Y", "%d/%m/%Y %H:%M:%S"])
return formats
def parse_date(text: str, formats: list[str]) -> datetime | None:
value = text.strip()
if not value:
return None
try:
return datetime.fromisoformat(value.replace("Z", "+00:00"))
except ValueError:
pass
for fmt in formats:
try:
return datetime.strptime(value, fmt)
except ValueError:
continue
return None
def main() -> int:
parser = argparse.ArgumentParser(description="Нормализация дат")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--column", required=True, help="Колонка с датой")
parser.add_argument("--output", type=Path, default=Path("dates_normalized.csv"), help="Результат")
parser.add_argument("--errors", type=Path, default=Path("date_errors.csv"), help="Ошибки разбора")
parser.add_argument("--formats", default="", help="Форматы strftime через запятую")
parser.add_argument("--monthfirst", action="store_true", help="Слэш-даты в формате месяц/день")
parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
args = parser.parse_args()
source = args.input.expanduser().resolve()
target = args.output.expanduser().resolve()
errors_path = args.errors.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if source in {target, errors_path} or target == errors_path:
parser.error("Выходные файлы не должны совпадать с исходным или друг с другом")
for path in (target, errors_path):
if path.exists() and not args.force:
parser.error(f"Файл уже существует: {path}. Добавьте --force")
if len(args.delimiter) != 1:
parser.error("Разделитель должен состоять из одного символа")
formats = build_formats(args.monthfirst, args.formats)
if not formats:
parser.error("Список форматов пуст")
with source.open("r", encoding="utf-8-sig", newline="") as handle:
reader = csv.DictReader(handle, delimiter=args.delimiter)
if reader.fieldnames is None:
parser.error("Не удалось прочитать заголовок")
if args.column not in reader.fieldnames:
parser.error(f"Нет колонки: {args.column}")
rows = []
errors = []
converted = 0
for row in reader:
raw = row.get(args.column) or ""
parsed = parse_date(raw, formats)
if parsed is None:
if raw.strip():
errors.append({"row": reader.line_num, "column": args.column, "value": raw,
"message": "не удалось распознать дату"})
rows.append(row)
continue
has_time = parsed.hour or parsed.minute or parsed.second
row[args.column] = parsed.strftime("%Y-%m-%d %H:%M:%S" if has_time else "%Y-%m-%d")
rows.append(row)
converted += 1
target.parent.mkdir(parents=True, exist_ok=True)
with target.open("w", encoding="utf-8", newline="") as handle:
writer = csv.DictWriter(handle, fieldnames=reader.fieldnames, delimiter=args.delimiter, lineterminator="\n")
writer.writeheader()
writer.writerows(rows)
errors_path.parent.mkdir(parents=True, exist_ok=True)
with errors_path.open("w", encoding="utf-8", newline="") as handle:
writer = csv.DictWriter(handle, fieldnames=["row", "column", "value", "message"], lineterminator="\n")
writer.writeheader()
writer.writerows(errors)
print(f"Строк: {len(rows)}")
print(f"Распознано дат: {converted}")
print(f"Ошибок: {len(errors)}")
print(f"Результат: {target}")
print(f"Ошибки: {errors_path}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.