Данные и таблицы

Очистить CSV от мусора

Приводит заголовки к аккуратному виду, убирает пробелы в ячейках и пустые строки.

Python Windows macOS Linux Новичок
Скачать clean_csv.py
Описание

Что делает скрипт

Скрипт читает CSV с учётом BOM, нормализует имена колонок, обрезает пробелы вокруг значений и удаляет полностью пустые строки. Строки с лишними ячейками обрезаются, короткие дополняются пустыми значениями. Исходный файл не меняется, результат пишется в новый файл.

Перед запуском
  • Если выходной файл существует, скрипт остановится. Для перезаписи добавьте --force.
Запуск

Быстрый старт

python clean_csv.py --input dirty.csv --output clean.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python clean_csv.py --input dirty.csv
  • python clean_csv.py --input dirty.csv --delimiter ';' --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

clean_csv.py

#!/usr/bin/env python3
"""Очистка CSV: заголовки, пробелы и пустые строки."""
from __future__ import annotations

import argparse
import csv
import re
from pathlib import Path


def clean_header(name: str, index: int, seen: set[str]) -> str:
    value = name.replace("\ufeff", "").strip().lower()
    value = re.sub(r"[^\w]+", "_", value, flags=re.UNICODE).strip("_")
    if not value:
        value = f"column_{index}"
    base = value
    counter = 2
    while value in seen:
        value = f"{base}_{counter}"
        counter += 1
    seen.add(value)
    return value


def main() -> int:
    parser = argparse.ArgumentParser(description="Очистка CSV")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--output", type=Path, default=Path("cleaned.csv"), help="Куда сохранить результат")
    parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
    parser.add_argument("--keep-empty", action="store_true", help="Оставить полностью пустые строки")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if len(args.delimiter) != 1:
        parser.error("Разделитель должен состоять из одного символа")
    if source == target:
        parser.error("Выходной файл не должен совпадать с исходным")
    if target.exists() and not args.force:
        parser.error(f"Файл уже существует: {target}. Добавьте --force для перезаписи")

    with source.open("r", encoding="utf-8-sig", newline="") as handle:
        reader = csv.reader(handle, delimiter=args.delimiter)
        try:
            raw_header = next(reader)
        except StopIteration:
            parser.error("Исходный файл пуст")
        seen: set[str] = set()
        header = [clean_header(name, index + 1, seen) for index, name in enumerate(raw_header)]
        rows: list[list[str]] = []
        skipped = 0
        extra = 0
        for row in reader:
            cleaned = [cell.strip() for cell in row]
            if not args.keep_empty and all(cell == "" for cell in cleaned):
                skipped += 1
                continue
            if len(cleaned) > len(header):
                extra += 1
                cleaned = cleaned[: len(header)]
            elif len(cleaned) < len(header):
                cleaned = cleaned + [""] * (len(header) - len(cleaned))
            rows.append(cleaned)

    with target.open("w", encoding="utf-8", newline="") as handle:
        writer = csv.writer(handle, delimiter=args.delimiter, lineterminator="\n")
        writer.writerow(header)
        writer.writerows(rows)

    print(f"Колонок: {len(header)}")
    print(f"Строк записано: {len(rows)}")
    print(f"Пустых строк удалено: {skipped}")
    if extra:
        print(f"Строк с лишними ячейками: {extra} (лишние значения отброшены)")
    print(f"Результат: {target}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-csv-clean
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.