#!/usr/bin/env python3 """Удаление дубликатов CSV по ключевым колонкам.""" from __future__ import annotations import argparse from pathlib import Path import pandas as pd def main() -> int: parser = argparse.ArgumentParser(description="Удалить дубликаты в CSV") parser.add_argument("--input", type=Path, required=True, help="Исходный CSV") parser.add_argument("--output", type=Path, default=Path("deduped.csv"), help="Результат") parser.add_argument("--report", type=Path, default=Path("duplicates_report.csv"), help="Отчёт о группах") parser.add_argument("--keys", default="", help="Колонки через запятую, по умолчанию все") parser.add_argument("--keep", choices=["first", "last", "none"], default="first", help="Какое вхождение оставить") parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы") args = parser.parse_args() source = args.input.expanduser().resolve() target = args.output.expanduser().resolve() report = args.report.expanduser().resolve() if not source.is_file(): parser.error(f"Файл не найден: {source}") if source in {target, report}: parser.error("Выходные файлы не должны совпадать с исходным") for path in (target, report): if path.exists() and not args.force: parser.error(f"Файл уже существует: {path}. Добавьте --force") frame = pd.read_csv(source, dtype=str, keep_default_na=False, encoding="utf-8-sig") keys = [item.strip() for item in args.keys.split(",") if item.strip()] if not keys: keys = list(frame.columns) missing = [name for name in keys if name not in frame.columns] if missing: parser.error("Нет колонок: " + ", ".join(missing)) keep_value: str | bool = args.keep if args.keep == "none": keep_value = False duplicates = int(frame.duplicated(subset=keys, keep=False).sum()) unique = frame.drop_duplicates(subset=keys, keep=keep_value) duplicated_rows = frame[frame.duplicated(subset=keys, keep=False)].copy() if duplicated_rows.empty: summary = pd.DataFrame(columns=[*keys, "count"]) else: summary = ( duplicated_rows.groupby(keys, dropna=False) .size() .reset_index(name="count") .sort_values("count", ascending=False) ) target.parent.mkdir(parents=True, exist_ok=True) unique.to_csv(target, index=False, encoding="utf-8-sig") report.parent.mkdir(parents=True, exist_ok=True) summary.to_csv(report, index=False, encoding="utf-8-sig") print(f"Строк до обработки: {len(frame)}") print(f"Строк в группах дубликатов: {duplicates}") print(f"Строк после удаления: {len(unique)}") print(f"Результат: {target}") print(f"Отчёт: {report}") return 0 if __name__ == "__main__": raise SystemExit(main())