Данные и таблицы

Сделать случайную выборку из CSV

Выбирает заданное число строк или процент с воспроизводимым seed и сохраняет новый CSV.

Python Windows macOS Linux Новичок
Скачать sample_csv.py
Описание

Что делает скрипт

Скрипт считает строки, выбирает индексы через random.Random с фиксированным seed и проходит файл второй раз, чтобы не держать все данные в памяти. Порядок выбранных строк сохраняется. Можно указать количество строк или процент, но не оба параметра сразу.

Перед запуском
  • Seed фиксирует выбор, но не делает её репрезентативной. Для стратификации используйте отдельный скрипт train/test.
Запуск

Быстрый старт

python sample_csv.py --input big.csv --n 500 --output sample.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python sample_csv.py --input logs.csv --percent 10 --seed 7
  • python sample_csv.py --input users.csv --n 1000 --output users_sample.csv --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

sample_csv.py

#!/usr/bin/env python3
"""Случайная выборка строк CSV."""
from __future__ import annotations

import argparse
import csv
import random
from pathlib import Path


def main() -> int:
    parser = argparse.ArgumentParser(description="Случайная выборка из CSV")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--output", type=Path, default=Path("sample.csv"), help="Результат")
    group = parser.add_mutually_exclusive_group(required=True)
    group.add_argument("--n", type=int, help="Сколько строк выбрать")
    group.add_argument("--percent", type=float, help="Какой процент выбрать")
    parser.add_argument("--seed", type=int, default=42, help="Зерно случайности")
    parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if source == target:
        parser.error("Выходной файл не должен совпадать с исходным")
    if target.exists() and not args.force:
        parser.error(f"Файл уже существует: {target}. Добавьте --force")
    if args.n is not None and args.n < 1:
        parser.error("--n должен быть больше нуля")
    if args.percent is not None and not 0 < args.percent <= 100:
        parser.error("--percent должен быть от 0 до 100")
    if len(args.delimiter) != 1:
        parser.error("Разделитель должен состоять из одного символа")

    with source.open("r", encoding="utf-8-sig", newline="") as handle:
        reader = csv.reader(handle, delimiter=args.delimiter)
        try:
            header = next(reader)
        except StopIteration:
            parser.error("Исходный файл пуст")
        total = sum(1 for _ in reader)

    if total == 0:
        parser.error("В файле нет строк данных")
    if args.n is not None:
        count = min(args.n, total)
    else:
        count = max(1, round(total * args.percent / 100))
        count = min(count, total)

    if count >= total:
        chosen = set(range(total))
    else:
        chosen = set(random.Random(args.seed).sample(range(total), count))

    target.parent.mkdir(parents=True, exist_ok=True)
    written = 0
    with source.open("r", encoding="utf-8-sig", newline="") as handle, target.open("w", encoding="utf-8", newline="") as output:
        reader = csv.reader(handle, delimiter=args.delimiter)
        next(reader)
        writer = csv.writer(output, delimiter=args.delimiter, lineterminator="\n")
        writer.writerow(header)
        for index, row in enumerate(reader):
            if index in chosen:
                writer.writerow(row)
                written += 1

    print(f"Строк в источнике: {total}")
    print(f"Выбрано строк: {written}")
    print(f"Seed: {args.seed}")
    print(f"Результат: {target}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-csv-sample
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.