#!/usr/bin/env python3 """Очистка CSV: заголовки, пробелы и пустые строки.""" from __future__ import annotations import argparse import csv import re from pathlib import Path def clean_header(name: str, index: int, seen: set[str]) -> str: value = name.replace("\ufeff", "").strip().lower() value = re.sub(r"[^\w]+", "_", value, flags=re.UNICODE).strip("_") if not value: value = f"column_{index}" base = value counter = 2 while value in seen: value = f"{base}_{counter}" counter += 1 seen.add(value) return value def main() -> int: parser = argparse.ArgumentParser(description="Очистка CSV") parser.add_argument("--input", type=Path, required=True, help="Исходный CSV") parser.add_argument("--output", type=Path, default=Path("cleaned.csv"), help="Куда сохранить результат") parser.add_argument("--delimiter", default=",", help="Разделитель колонок") parser.add_argument("--keep-empty", action="store_true", help="Оставить полностью пустые строки") parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл") args = parser.parse_args() source = args.input.expanduser().resolve() target = args.output.expanduser().resolve() if not source.is_file(): parser.error(f"Файл не найден: {source}") if len(args.delimiter) != 1: parser.error("Разделитель должен состоять из одного символа") if source == target: parser.error("Выходной файл не должен совпадать с исходным") if target.exists() and not args.force: parser.error(f"Файл уже существует: {target}. Добавьте --force для перезаписи") with source.open("r", encoding="utf-8-sig", newline="") as handle: reader = csv.reader(handle, delimiter=args.delimiter) try: raw_header = next(reader) except StopIteration: parser.error("Исходный файл пуст") seen: set[str] = set() header = [clean_header(name, index + 1, seen) for index, name in enumerate(raw_header)] rows: list[list[str]] = [] skipped = 0 extra = 0 for row in reader: cleaned = [cell.strip() for cell in row] if not args.keep_empty and all(cell == "" for cell in cleaned): skipped += 1 continue if len(cleaned) > len(header): extra += 1 cleaned = cleaned[: len(header)] elif len(cleaned) < len(header): cleaned = cleaned + [""] * (len(header) - len(cleaned)) rows.append(cleaned) with target.open("w", encoding="utf-8", newline="") as handle: writer = csv.writer(handle, delimiter=args.delimiter, lineterminator="\n") writer.writerow(header) writer.writerows(rows) print(f"Колонок: {len(header)}") print(f"Строк записано: {len(rows)}") print(f"Пустых строк удалено: {skipped}") if extra: print(f"Строк с лишними ячейками: {extra} (лишние значения отброшены)") print(f"Результат: {target}") return 0 if __name__ == "__main__": raise SystemExit(main())