Данные и таблицы

Удалить дубликаты в CSV

Убирает повторяющиеся строки по выбранным колонкам и сохраняет отчёт о найденных группах.

Python Windows macOS Linux Средний
Скачать dedupe_csv.py
Описание

Что делает скрипт

Скрипт читает CSV как текст, чтобы не портить ведущие нули и артикулы, затем удаляет повторы по ключевым колонкам. Можно оставить первое или последнее вхождение либо удалить все дубликаты. Отдельный CSV показывает группы и их размер, исходный файл не изменяется.

Перед запуском
  • Без --force существующие выходные файлы не перезаписываются.
Запуск

Быстрый старт

python dedupe_csv.py --input clients.csv --keys email --output unique.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python dedupe_csv.py --input clients.csv --keys email,phone --keep last
  • python dedupe_csv.py --input orders.csv --keep none --report duplicates.csv
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
pandas Таблицы и агрегаты
Windows py -m pip install pandas
macOS python3 -m pip install pandas
Linux python3 -m pip install pandas
Исходник

dedupe_csv.py

#!/usr/bin/env python3
"""Удаление дубликатов CSV по ключевым колонкам."""
from __future__ import annotations

import argparse
from pathlib import Path

import pandas as pd


def main() -> int:
    parser = argparse.ArgumentParser(description="Удалить дубликаты в CSV")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--output", type=Path, default=Path("deduped.csv"), help="Результат")
    parser.add_argument("--report", type=Path, default=Path("duplicates_report.csv"), help="Отчёт о группах")
    parser.add_argument("--keys", default="", help="Колонки через запятую, по умолчанию все")
    parser.add_argument("--keep", choices=["first", "last", "none"], default="first", help="Какое вхождение оставить")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    report = args.report.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if source in {target, report}:
        parser.error("Выходные файлы не должны совпадать с исходным")
    for path in (target, report):
        if path.exists() and not args.force:
            parser.error(f"Файл уже существует: {path}. Добавьте --force")

    frame = pd.read_csv(source, dtype=str, keep_default_na=False, encoding="utf-8-sig")
    keys = [item.strip() for item in args.keys.split(",") if item.strip()]
    if not keys:
        keys = list(frame.columns)
    missing = [name for name in keys if name not in frame.columns]
    if missing:
        parser.error("Нет колонок: " + ", ".join(missing))

    keep_value: str | bool = args.keep
    if args.keep == "none":
        keep_value = False
    duplicates = int(frame.duplicated(subset=keys, keep=False).sum())
    unique = frame.drop_duplicates(subset=keys, keep=keep_value)

    duplicated_rows = frame[frame.duplicated(subset=keys, keep=False)].copy()
    if duplicated_rows.empty:
        summary = pd.DataFrame(columns=[*keys, "count"])
    else:
        summary = (
            duplicated_rows.groupby(keys, dropna=False)
            .size()
            .reset_index(name="count")
            .sort_values("count", ascending=False)
        )

    target.parent.mkdir(parents=True, exist_ok=True)
    unique.to_csv(target, index=False, encoding="utf-8-sig")
    report.parent.mkdir(parents=True, exist_ok=True)
    summary.to_csv(report, index=False, encoding="utf-8-sig")

    print(f"Строк до обработки: {len(frame)}")
    print(f"Строк в группах дубликатов: {duplicates}")
    print(f"Строк после удаления: {len(unique)}")
    print(f"Результат: {target}")
    print(f"Отчёт: {report}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-csv-dedupe
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.