Разделить CSV на train и test
Делит таблицу на обучающую и тестовую части с seed и необязательной стратификацией.
Что делает скрипт
Скрипт перемешивает строки и записывает два CSV в указанную папку. При стратификации по колонке каждая группа делится отдельно, чтобы редкие категории попали в обе части. Для маленьких групп хотя бы одна строка остаётся в train. Исходный файл не изменяется.
- Стратификация требует достаточно строк в каждой категории. Иначе split будет неравномерным.
Быстрый старт
python train_test_split.py --input dataset.csv --test-size 0.2 --out-dir split
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python train_test_split.py --input dataset.csv --stratify category --seed 7python train_test_split.py --input data.csv --test-size 0.3 --out-dir parts --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
train_test_split.py
#!/usr/bin/env python3
"""Разделение CSV на train и test."""
from __future__ import annotations
import argparse
import csv
import random
from collections import defaultdict
from pathlib import Path
def write_part(path: Path, header: list[str], rows: list[list[str]], delimiter: str) -> None:
with path.open("w", encoding="utf-8", newline="") as handle:
writer = csv.writer(handle, delimiter=delimiter, lineterminator="\n")
writer.writerow(header)
writer.writerows(rows)
def main() -> int:
parser = argparse.ArgumentParser(description="Разделить CSV на train и test")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--out-dir", type=Path, default=Path("split"), help="Папка для train.csv и test.csv")
parser.add_argument("--test-size", type=float, default=0.2, help="Доля тестовой части")
parser.add_argument("--seed", type=int, default=42, help="Зерно случайности")
parser.add_argument("--stratify", default="", help="Колонка для стратификации")
parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
args = parser.parse_args()
source = args.input.expanduser().resolve()
out_dir = args.out_dir.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if not 0 < args.test_size < 1:
parser.error("--test-size должен быть между 0 и 1")
if len(args.delimiter) != 1:
parser.error("Разделитель должен состоять из одного символа")
train_path = out_dir / "train.csv"
test_path = out_dir / "test.csv"
for path in (train_path, test_path):
if path.exists() and not args.force:
parser.error(f"Файл уже существует: {path}. Добавьте --force")
with source.open("r", encoding="utf-8-sig", newline="") as handle:
reader = csv.reader(handle, delimiter=args.delimiter)
try:
header = next(reader)
except StopIteration:
parser.error("Исходный файл пуст")
rows = [row for row in reader]
if len(rows) < 2:
parser.error("Нужно минимум две строки данных")
rng = random.Random(args.seed)
index = -1
if args.stratify:
if args.stratify not in header:
parser.error(f"Нет колонки для стратификации: {args.stratify}")
index = header.index(args.stratify)
if index >= 0:
groups: dict[str, list[list[str]]] = defaultdict(list)
for row in rows:
key = row[index] if index < len(row) else ""
groups[key].append(row)
train: list[list[str]] = []
test: list[list[str]] = []
for key in sorted(groups):
group = groups[key]
rng.shuffle(group)
if len(group) == 1:
test_count = 0
else:
test_count = max(1, min(len(group) - 1, round(len(group) * args.test_size)))
test.extend(group[:test_count])
train.extend(group[test_count:])
rng.shuffle(train)
rng.shuffle(test)
else:
shuffled = rows[:]
rng.shuffle(shuffled)
test_count = max(1, min(len(shuffled) - 1, round(len(shuffled) * args.test_size)))
test = shuffled[:test_count]
train = shuffled[test_count:]
out_dir.mkdir(parents=True, exist_ok=True)
write_part(train_path, header, train, args.delimiter)
write_part(test_path, header, test, args.delimiter)
total = len(rows)
print(f"Всего строк: {total}")
print(f"Train: {len(train)} ({len(train) / total:.1%})")
print(f"Test: {len(test)} ({len(test) / total:.1%})")
print(f"Папка: {out_dir}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.