Заполнить пропуски в CSV
Заполняет пустые значения константой, средним, медианой, модой или соседними строками.
Что делает скрипт
Скрипт показывает, сколько пропусков было в каждой колонке, применяет выбранную стратегию и сохраняет новый CSV с отчётом. Для среднего и медианы колонка должна быть числовой, иначе она пропускается с предупреждением. Исходные данные не изменяются.
- Стратегия drop удаляет строки с пропусками. Используйте её осознанно.
Быстрый старт
python fill_missing.py --input data.csv --strategy mean --output filled.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python fill_missing.py --input data.csv --strategy constant --value 0 --columns amount,qtypython fill_missing.py --input data.csv --strategy ffill --report missing.csv --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
py -m pip install pandas
python3 -m pip install pandas
python3 -m pip install pandas
fill_missing.py
#!/usr/bin/env python3
"""Заполнение пропусков в CSV."""
from __future__ import annotations
import argparse
from pathlib import Path
import pandas as pd
def main() -> int:
parser = argparse.ArgumentParser(description="Заполнить пропуски в CSV")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--output", type=Path, default=Path("filled.csv"), help="Результат")
parser.add_argument("--report", type=Path, default=Path("fillna_report.csv"), help="Отчёт о пропусках")
parser.add_argument("--strategy", choices=["constant", "mean", "median", "mode", "ffill", "bfill", "drop"],
default="mean", help="Способ заполнения")
parser.add_argument("--value", default="", help="Значение для стратегии constant")
parser.add_argument("--columns", default="", help="Колонки через запятую, по умолчанию все")
parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
args = parser.parse_args()
source = args.input.expanduser().resolve()
target = args.output.expanduser().resolve()
report = args.report.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if source in {target, report}:
parser.error("Выходные файлы не должны совпадать с исходным")
for path in (target, report):
if path.exists() and not args.force:
parser.error(f"Файл уже существует: {path}. Добавьте --force")
if args.strategy == "constant" and args.value == "":
parser.error("Для стратегии constant укажите --value")
frame = pd.read_csv(source, encoding="utf-8-sig")
columns = [item.strip() for item in args.columns.split(",") if item.strip()]
if not columns:
columns = list(frame.columns)
missing = [name for name in columns if name not in frame.columns]
if missing:
parser.error("Нет колонок: " + ", ".join(missing))
before = frame[columns].isna().sum()
work = frame.copy()
for column in columns:
series = work[column]
if args.strategy == "constant":
numeric = pd.to_numeric(series, errors="coerce")
constant = pd.to_numeric(pd.Series([args.value]), errors="coerce").iloc[0]
if series.notna().sum() > 0 and numeric.notna().sum() == series.notna().sum() and pd.notna(constant):
work[column] = numeric.fillna(float(constant))
else:
work[column] = series.fillna(args.value)
elif args.strategy == "mean":
numeric = pd.to_numeric(series, errors="coerce")
if numeric.notna().sum() != series.notna().sum():
print(f"Пропуск {column}: есть нечисловые значения")
continue
work[column] = numeric.fillna(numeric.mean())
elif args.strategy == "median":
numeric = pd.to_numeric(series, errors="coerce")
if numeric.notna().sum() != series.notna().sum():
print(f"Пропуск {column}: есть нечисловые значения")
continue
work[column] = numeric.fillna(numeric.median())
elif args.strategy == "mode":
mode = series.mode(dropna=True)
if not mode.empty:
work[column] = series.fillna(mode.iloc[0])
elif args.strategy == "ffill":
work[column] = series.ffill()
elif args.strategy == "bfill":
work[column] = series.bfill()
if args.strategy == "drop":
work = work.dropna(subset=columns)
after = work[columns].isna().sum()
summary = pd.DataFrame({
"column": columns,
"before": [int(before[name]) for name in columns],
"after": [int(after[name]) for name in columns],
})
summary["filled"] = summary["before"] - summary["after"]
target.parent.mkdir(parents=True, exist_ok=True)
work.to_csv(target, index=False, encoding="utf-8-sig")
report.parent.mkdir(parents=True, exist_ok=True)
summary.to_csv(report, index=False, encoding="utf-8-sig")
print(f"Стратегия: {args.strategy}")
print(f"Строк было: {len(frame)}, стало: {len(work)}")
print(f"Пропусков до: {int(before.sum())}, после: {int(after.sum())}")
print(f"Результат: {target}")
print(f"Отчёт: {report}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.