Очистить CSV от мусора
Приводит заголовки к аккуратному виду, убирает пробелы в ячейках и пустые строки.
Что делает скрипт
Скрипт читает CSV с учётом BOM, нормализует имена колонок, обрезает пробелы вокруг значений и удаляет полностью пустые строки. Строки с лишними ячейками обрезаются, короткие дополняются пустыми значениями. Исходный файл не меняется, результат пишется в новый файл.
- Если выходной файл существует, скрипт остановится. Для перезаписи добавьте --force.
Быстрый старт
python clean_csv.py --input dirty.csv --output clean.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python clean_csv.py --input dirty.csvpython clean_csv.py --input dirty.csv --delimiter ';' --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
clean_csv.py
#!/usr/bin/env python3
"""Очистка CSV: заголовки, пробелы и пустые строки."""
from __future__ import annotations
import argparse
import csv
import re
from pathlib import Path
def clean_header(name: str, index: int, seen: set[str]) -> str:
value = name.replace("\ufeff", "").strip().lower()
value = re.sub(r"[^\w]+", "_", value, flags=re.UNICODE).strip("_")
if not value:
value = f"column_{index}"
base = value
counter = 2
while value in seen:
value = f"{base}_{counter}"
counter += 1
seen.add(value)
return value
def main() -> int:
parser = argparse.ArgumentParser(description="Очистка CSV")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--output", type=Path, default=Path("cleaned.csv"), help="Куда сохранить результат")
parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
parser.add_argument("--keep-empty", action="store_true", help="Оставить полностью пустые строки")
parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
args = parser.parse_args()
source = args.input.expanduser().resolve()
target = args.output.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if len(args.delimiter) != 1:
parser.error("Разделитель должен состоять из одного символа")
if source == target:
parser.error("Выходной файл не должен совпадать с исходным")
if target.exists() and not args.force:
parser.error(f"Файл уже существует: {target}. Добавьте --force для перезаписи")
with source.open("r", encoding="utf-8-sig", newline="") as handle:
reader = csv.reader(handle, delimiter=args.delimiter)
try:
raw_header = next(reader)
except StopIteration:
parser.error("Исходный файл пуст")
seen: set[str] = set()
header = [clean_header(name, index + 1, seen) for index, name in enumerate(raw_header)]
rows: list[list[str]] = []
skipped = 0
extra = 0
for row in reader:
cleaned = [cell.strip() for cell in row]
if not args.keep_empty and all(cell == "" for cell in cleaned):
skipped += 1
continue
if len(cleaned) > len(header):
extra += 1
cleaned = cleaned[: len(header)]
elif len(cleaned) < len(header):
cleaned = cleaned + [""] * (len(header) - len(cleaned))
rows.append(cleaned)
with target.open("w", encoding="utf-8", newline="") as handle:
writer = csv.writer(handle, delimiter=args.delimiter, lineterminator="\n")
writer.writerow(header)
writer.writerows(rows)
print(f"Колонок: {len(header)}")
print(f"Строк записано: {len(rows)}")
print(f"Пустых строк удалено: {skipped}")
if extra:
print(f"Строк с лишними ячейками: {extra} (лишние значения отброшены)")
print(f"Результат: {target}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.