Данные и таблицы

Заполнить пропуски в CSV

Заполняет пустые значения константой, средним, медианой, модой или соседними строками.

Python Windows macOS Linux Средний
Скачать fill_missing.py
Описание

Что делает скрипт

Скрипт показывает, сколько пропусков было в каждой колонке, применяет выбранную стратегию и сохраняет новый CSV с отчётом. Для среднего и медианы колонка должна быть числовой, иначе она пропускается с предупреждением. Исходные данные не изменяются.

Перед запуском
  • Стратегия drop удаляет строки с пропусками. Используйте её осознанно.
Запуск

Быстрый старт

python fill_missing.py --input data.csv --strategy mean --output filled.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python fill_missing.py --input data.csv --strategy constant --value 0 --columns amount,qty
  • python fill_missing.py --input data.csv --strategy ffill --report missing.csv --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
pandas Таблицы и агрегаты
Windows py -m pip install pandas
macOS python3 -m pip install pandas
Linux python3 -m pip install pandas
Исходник

fill_missing.py

#!/usr/bin/env python3
"""Заполнение пропусков в CSV."""
from __future__ import annotations

import argparse
from pathlib import Path

import pandas as pd


def main() -> int:
    parser = argparse.ArgumentParser(description="Заполнить пропуски в CSV")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--output", type=Path, default=Path("filled.csv"), help="Результат")
    parser.add_argument("--report", type=Path, default=Path("fillna_report.csv"), help="Отчёт о пропусках")
    parser.add_argument("--strategy", choices=["constant", "mean", "median", "mode", "ffill", "bfill", "drop"],
                        default="mean", help="Способ заполнения")
    parser.add_argument("--value", default="", help="Значение для стратегии constant")
    parser.add_argument("--columns", default="", help="Колонки через запятую, по умолчанию все")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    report = args.report.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if source in {target, report}:
        parser.error("Выходные файлы не должны совпадать с исходным")
    for path in (target, report):
        if path.exists() and not args.force:
            parser.error(f"Файл уже существует: {path}. Добавьте --force")
    if args.strategy == "constant" and args.value == "":
        parser.error("Для стратегии constant укажите --value")

    frame = pd.read_csv(source, encoding="utf-8-sig")
    columns = [item.strip() for item in args.columns.split(",") if item.strip()]
    if not columns:
        columns = list(frame.columns)
    missing = [name for name in columns if name not in frame.columns]
    if missing:
        parser.error("Нет колонок: " + ", ".join(missing))

    before = frame[columns].isna().sum()
    work = frame.copy()

    for column in columns:
        series = work[column]
        if args.strategy == "constant":
            numeric = pd.to_numeric(series, errors="coerce")
            constant = pd.to_numeric(pd.Series([args.value]), errors="coerce").iloc[0]
            if series.notna().sum() > 0 and numeric.notna().sum() == series.notna().sum() and pd.notna(constant):
                work[column] = numeric.fillna(float(constant))
            else:
                work[column] = series.fillna(args.value)
        elif args.strategy == "mean":
            numeric = pd.to_numeric(series, errors="coerce")
            if numeric.notna().sum() != series.notna().sum():
                print(f"Пропуск {column}: есть нечисловые значения")
                continue
            work[column] = numeric.fillna(numeric.mean())
        elif args.strategy == "median":
            numeric = pd.to_numeric(series, errors="coerce")
            if numeric.notna().sum() != series.notna().sum():
                print(f"Пропуск {column}: есть нечисловые значения")
                continue
            work[column] = numeric.fillna(numeric.median())
        elif args.strategy == "mode":
            mode = series.mode(dropna=True)
            if not mode.empty:
                work[column] = series.fillna(mode.iloc[0])
        elif args.strategy == "ffill":
            work[column] = series.ffill()
        elif args.strategy == "bfill":
            work[column] = series.bfill()

    if args.strategy == "drop":
        work = work.dropna(subset=columns)

    after = work[columns].isna().sum()
    summary = pd.DataFrame({
        "column": columns,
        "before": [int(before[name]) for name in columns],
        "after": [int(after[name]) for name in columns],
    })
    summary["filled"] = summary["before"] - summary["after"]

    target.parent.mkdir(parents=True, exist_ok=True)
    work.to_csv(target, index=False, encoding="utf-8-sig")
    report.parent.mkdir(parents=True, exist_ok=True)
    summary.to_csv(report, index=False, encoding="utf-8-sig")

    print(f"Стратегия: {args.strategy}")
    print(f"Строк было: {len(frame)}, стало: {len(work)}")
    print(f"Пропусков до: {int(before.sum())}, после: {int(after.sum())}")
    print(f"Результат: {target}")
    print(f"Отчёт: {report}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-csv-fillna
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.