#!/usr/bin/env python3 """Разделение CSV на train и test.""" from __future__ import annotations import argparse import csv import random from collections import defaultdict from pathlib import Path def write_part(path: Path, header: list[str], rows: list[list[str]], delimiter: str) -> None: with path.open("w", encoding="utf-8", newline="") as handle: writer = csv.writer(handle, delimiter=delimiter, lineterminator="\n") writer.writerow(header) writer.writerows(rows) def main() -> int: parser = argparse.ArgumentParser(description="Разделить CSV на train и test") parser.add_argument("--input", type=Path, required=True, help="Исходный CSV") parser.add_argument("--out-dir", type=Path, default=Path("split"), help="Папка для train.csv и test.csv") parser.add_argument("--test-size", type=float, default=0.2, help="Доля тестовой части") parser.add_argument("--seed", type=int, default=42, help="Зерно случайности") parser.add_argument("--stratify", default="", help="Колонка для стратификации") parser.add_argument("--delimiter", default=",", help="Разделитель колонок") parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы") args = parser.parse_args() source = args.input.expanduser().resolve() out_dir = args.out_dir.expanduser().resolve() if not source.is_file(): parser.error(f"Файл не найден: {source}") if not 0 < args.test_size < 1: parser.error("--test-size должен быть между 0 и 1") if len(args.delimiter) != 1: parser.error("Разделитель должен состоять из одного символа") train_path = out_dir / "train.csv" test_path = out_dir / "test.csv" for path in (train_path, test_path): if path.exists() and not args.force: parser.error(f"Файл уже существует: {path}. Добавьте --force") with source.open("r", encoding="utf-8-sig", newline="") as handle: reader = csv.reader(handle, delimiter=args.delimiter) try: header = next(reader) except StopIteration: parser.error("Исходный файл пуст") rows = [row for row in reader] if len(rows) < 2: parser.error("Нужно минимум две строки данных") rng = random.Random(args.seed) index = -1 if args.stratify: if args.stratify not in header: parser.error(f"Нет колонки для стратификации: {args.stratify}") index = header.index(args.stratify) if index >= 0: groups: dict[str, list[list[str]]] = defaultdict(list) for row in rows: key = row[index] if index < len(row) else "" groups[key].append(row) train: list[list[str]] = [] test: list[list[str]] = [] for key in sorted(groups): group = groups[key] rng.shuffle(group) if len(group) == 1: test_count = 0 else: test_count = max(1, min(len(group) - 1, round(len(group) * args.test_size))) test.extend(group[:test_count]) train.extend(group[test_count:]) rng.shuffle(train) rng.shuffle(test) else: shuffled = rows[:] rng.shuffle(shuffled) test_count = max(1, min(len(shuffled) - 1, round(len(shuffled) * args.test_size))) test = shuffled[:test_count] train = shuffled[test_count:] out_dir.mkdir(parents=True, exist_ok=True) write_part(train_path, header, train, args.delimiter) write_part(test_path, header, test, args.delimiter) total = len(rows) print(f"Всего строк: {total}") print(f"Train: {len(train)} ({len(train) / total:.1%})") print(f"Test: {len(test)} ({len(test) / total:.1%})") print(f"Папка: {out_dir}") return 0 if __name__ == "__main__": raise SystemExit(main())