Сделать случайную выборку из CSV
Выбирает заданное число строк или процент с воспроизводимым seed и сохраняет новый CSV.
Что делает скрипт
Скрипт считает строки, выбирает индексы через random.Random с фиксированным seed и проходит файл второй раз, чтобы не держать все данные в памяти. Порядок выбранных строк сохраняется. Можно указать количество строк или процент, но не оба параметра сразу.
- Seed фиксирует выбор, но не делает её репрезентативной. Для стратификации используйте отдельный скрипт train/test.
Быстрый старт
python sample_csv.py --input big.csv --n 500 --output sample.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python sample_csv.py --input logs.csv --percent 10 --seed 7python sample_csv.py --input users.csv --n 1000 --output users_sample.csv --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
sample_csv.py
#!/usr/bin/env python3
"""Случайная выборка строк CSV."""
from __future__ import annotations
import argparse
import csv
import random
from pathlib import Path
def main() -> int:
parser = argparse.ArgumentParser(description="Случайная выборка из CSV")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--output", type=Path, default=Path("sample.csv"), help="Результат")
group = parser.add_mutually_exclusive_group(required=True)
group.add_argument("--n", type=int, help="Сколько строк выбрать")
group.add_argument("--percent", type=float, help="Какой процент выбрать")
parser.add_argument("--seed", type=int, default=42, help="Зерно случайности")
parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
args = parser.parse_args()
source = args.input.expanduser().resolve()
target = args.output.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if source == target:
parser.error("Выходной файл не должен совпадать с исходным")
if target.exists() and not args.force:
parser.error(f"Файл уже существует: {target}. Добавьте --force")
if args.n is not None and args.n < 1:
parser.error("--n должен быть больше нуля")
if args.percent is not None and not 0 < args.percent <= 100:
parser.error("--percent должен быть от 0 до 100")
if len(args.delimiter) != 1:
parser.error("Разделитель должен состоять из одного символа")
with source.open("r", encoding="utf-8-sig", newline="") as handle:
reader = csv.reader(handle, delimiter=args.delimiter)
try:
header = next(reader)
except StopIteration:
parser.error("Исходный файл пуст")
total = sum(1 for _ in reader)
if total == 0:
parser.error("В файле нет строк данных")
if args.n is not None:
count = min(args.n, total)
else:
count = max(1, round(total * args.percent / 100))
count = min(count, total)
if count >= total:
chosen = set(range(total))
else:
chosen = set(random.Random(args.seed).sample(range(total), count))
target.parent.mkdir(parents=True, exist_ok=True)
written = 0
with source.open("r", encoding="utf-8-sig", newline="") as handle, target.open("w", encoding="utf-8", newline="") as output:
reader = csv.reader(handle, delimiter=args.delimiter)
next(reader)
writer = csv.writer(output, delimiter=args.delimiter, lineterminator="\n")
writer.writerow(header)
for index, row in enumerate(reader):
if index in chosen:
writer.writerow(row)
written += 1
print(f"Строк в источнике: {total}")
print(f"Выбрано строк: {written}")
print(f"Seed: {args.seed}")
print(f"Результат: {target}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.