Данные и таблицы

Разделить CSV на train и test

Делит таблицу на обучающую и тестовую части с seed и необязательной стратификацией.

Python Windows macOS Linux Продвинутый
Скачать train_test_split.py
Описание

Что делает скрипт

Скрипт перемешивает строки и записывает два CSV в указанную папку. При стратификации по колонке каждая группа делится отдельно, чтобы редкие категории попали в обе части. Для маленьких групп хотя бы одна строка остаётся в train. Исходный файл не изменяется.

Перед запуском
  • Стратификация требует достаточно строк в каждой категории. Иначе split будет неравномерным.
Запуск

Быстрый старт

python train_test_split.py --input dataset.csv --test-size 0.2 --out-dir split

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python train_test_split.py --input dataset.csv --stratify category --seed 7
  • python train_test_split.py --input data.csv --test-size 0.3 --out-dir parts --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

train_test_split.py

#!/usr/bin/env python3
"""Разделение CSV на train и test."""
from __future__ import annotations

import argparse
import csv
import random
from collections import defaultdict
from pathlib import Path


def write_part(path: Path, header: list[str], rows: list[list[str]], delimiter: str) -> None:
    with path.open("w", encoding="utf-8", newline="") as handle:
        writer = csv.writer(handle, delimiter=delimiter, lineterminator="\n")
        writer.writerow(header)
        writer.writerows(rows)


def main() -> int:
    parser = argparse.ArgumentParser(description="Разделить CSV на train и test")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--out-dir", type=Path, default=Path("split"), help="Папка для train.csv и test.csv")
    parser.add_argument("--test-size", type=float, default=0.2, help="Доля тестовой части")
    parser.add_argument("--seed", type=int, default=42, help="Зерно случайности")
    parser.add_argument("--stratify", default="", help="Колонка для стратификации")
    parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходные файлы")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    out_dir = args.out_dir.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if not 0 < args.test_size < 1:
        parser.error("--test-size должен быть между 0 и 1")
    if len(args.delimiter) != 1:
        parser.error("Разделитель должен состоять из одного символа")

    train_path = out_dir / "train.csv"
    test_path = out_dir / "test.csv"
    for path in (train_path, test_path):
        if path.exists() and not args.force:
            parser.error(f"Файл уже существует: {path}. Добавьте --force")

    with source.open("r", encoding="utf-8-sig", newline="") as handle:
        reader = csv.reader(handle, delimiter=args.delimiter)
        try:
            header = next(reader)
        except StopIteration:
            parser.error("Исходный файл пуст")
        rows = [row for row in reader]

    if len(rows) < 2:
        parser.error("Нужно минимум две строки данных")

    rng = random.Random(args.seed)
    index = -1
    if args.stratify:
        if args.stratify not in header:
            parser.error(f"Нет колонки для стратификации: {args.stratify}")
        index = header.index(args.stratify)

    if index >= 0:
        groups: dict[str, list[list[str]]] = defaultdict(list)
        for row in rows:
            key = row[index] if index < len(row) else ""
            groups[key].append(row)
        train: list[list[str]] = []
        test: list[list[str]] = []
        for key in sorted(groups):
            group = groups[key]
            rng.shuffle(group)
            if len(group) == 1:
                test_count = 0
            else:
                test_count = max(1, min(len(group) - 1, round(len(group) * args.test_size)))
            test.extend(group[:test_count])
            train.extend(group[test_count:])
        rng.shuffle(train)
        rng.shuffle(test)
    else:
        shuffled = rows[:]
        rng.shuffle(shuffled)
        test_count = max(1, min(len(shuffled) - 1, round(len(shuffled) * args.test_size)))
        test = shuffled[:test_count]
        train = shuffled[test_count:]

    out_dir.mkdir(parents=True, exist_ok=True)
    write_part(train_path, header, train, args.delimiter)
    write_part(test_path, header, test, args.delimiter)

    total = len(rows)
    print(f"Всего строк: {total}")
    print(f"Train: {len(train)} ({len(train) / total:.1%})")
    print(f"Test: {len(test)} ({len(test) / total:.1%})")
    print(f"Папка: {out_dir}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-train-test
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.

Теги