Удалить дубликаты в CSV
Убирает повторяющиеся строки по выбранным колонкам и сохраняет отчёт о найденных группах.
Что делает скрипт
Скрипт читает CSV как текст, чтобы не портить ведущие нули и артикулы, затем удаляет повторы по ключевым колонкам. Можно оставить первое или последнее вхождение либо удалить все дубликаты. Отдельный CSV показывает группы и их размер, исходный файл не изменяется.
- Без --force существующие выходные файлы не перезаписываются.
Быстрый старт
python dedupe_csv.py --input clients.csv --keys email --output unique.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python dedupe_csv.py --input clients.csv --keys email,phone --keep lastpython dedupe_csv.py --input orders.csv --keep none --report duplicates.csv
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
py -m pip install pandas
python3 -m pip install pandas
python3 -m pip install pandas
dedupe_csv.py
#!/usr/bin/env python3
"""Удаление дубликатов CSV по ключевым колонкам."""
from __future__ import annotations
import argparse
from pathlib import Path
import pandas as pd
def main() -> int:
parser = argparse.ArgumentParser(description="Удалить дубликаты в CSV")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--output", type=Path, default=Path("deduped.csv"), help="Результат")
parser.add_argument("--report", type=Path, default=Path("duplicates_report.csv"), help="Отчёт о группах")
parser.add_argument("--keys", default="", help="Колонки через запятую, по умолчанию все")
parser.add_argument("--keep", choices=["first", "last", "none"], default="first", help="Какое вхождение оставить")
parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
args = parser.parse_args()
source = args.input.expanduser().resolve()
target = args.output.expanduser().resolve()
report = args.report.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if source in {target, report}:
parser.error("Выходные файлы не должны совпадать с исходным")
for path in (target, report):
if path.exists() and not args.force:
parser.error(f"Файл уже существует: {path}. Добавьте --force")
frame = pd.read_csv(source, dtype=str, keep_default_na=False, encoding="utf-8-sig")
keys = [item.strip() for item in args.keys.split(",") if item.strip()]
if not keys:
keys = list(frame.columns)
missing = [name for name in keys if name not in frame.columns]
if missing:
parser.error("Нет колонок: " + ", ".join(missing))
keep_value: str | bool = args.keep
if args.keep == "none":
keep_value = False
duplicates = int(frame.duplicated(subset=keys, keep=False).sum())
unique = frame.drop_duplicates(subset=keys, keep=keep_value)
duplicated_rows = frame[frame.duplicated(subset=keys, keep=False)].copy()
if duplicated_rows.empty:
summary = pd.DataFrame(columns=[*keys, "count"])
else:
summary = (
duplicated_rows.groupby(keys, dropna=False)
.size()
.reset_index(name="count")
.sort_values("count", ascending=False)
)
target.parent.mkdir(parents=True, exist_ok=True)
unique.to_csv(target, index=False, encoding="utf-8-sig")
report.parent.mkdir(parents=True, exist_ok=True)
summary.to_csv(report, index=False, encoding="utf-8-sig")
print(f"Строк до обработки: {len(frame)}")
print(f"Строк в группах дубликатов: {duplicates}")
print(f"Строк после удаления: {len(unique)}")
print(f"Результат: {target}")
print(f"Отчёт: {report}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.