Файлы и папки

Разбить список файлов на части

Делит текстовый список путей на заданное число файлов и показывает количество строк в каждой части.

Shell Linux macOS Средний
Скачать split_file_list.sh
Описание

Что делает скрипт

Скрипт читает список по одному пути на строку и распределяет строки по частям по кругу, чтобы размеры частей были близки. Пустые строки пропускаются, существующие части не перезаписываются без --force. Исходный список не изменяется.

Перед запуском
  • С --force существующие файлы частей будут очищены.
Запуск

Быстрый старт

bash split_file_list.sh --input files.txt --parts 4 --out-dir chunks

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash split_file_list.sh --input files.txt --parts 4 --out-dir chunks
  • bash split_file_list.sh --input paths.txt --parts 10 --out-dir parts --force
Зависимости

Что понадобится

Bash 4+ Стандартные утилиты find, stat, sort, tar, awk, du и sha256sum или shasum
Linux sudo apt install bash
macOS brew install bash
Исходник

split_file_list.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 --input <файл> --parts N --out-dir <папка> [--prefix part-] [--force]"
}

input=""
parts=4
out_dir=""
prefix="part-"
force=0

while [[ $# -gt 0 ]]; do
    case "$1" in
        --input) input="${2:-}"; shift 2 ;;
        --parts) parts="${2:-}"; shift 2 ;;
        --out-dir) out_dir="${2:-}"; shift 2 ;;
        --prefix) prefix="${2:-}"; shift 2 ;;
        --force) force=1; shift ;;
        -h|--help) usage; exit 0 ;;
        *) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
    esac
done

[[ -n "$input" && -f "$input" ]] || { echo "Укажите существующий файл через --input" >&2; exit 2; }
[[ "$parts" =~ ^[1-9][0-9]*$ ]] || { echo "--parts должен быть положительным числом" >&2; exit 2; }
[[ -n "$out_dir" ]] || { echo "Укажите папку через --out-dir" >&2; exit 2; }
[[ "$prefix" != */* ]] || { echo "Префикс не должен содержать /" >&2; exit 2; }

mkdir -p "$out_dir"

for ((index = 1; index <= parts; index++)); do
    target="$out_dir/$(printf '%s%03d.txt' "$prefix" "$index")"
    if [[ -e "$target" && "$force" -eq 0 ]]; then
        echo "Файл уже существует: $target. Добавьте --force" >&2
        exit 1
    fi
done

for ((index = 1; index <= parts; index++)); do
    target="$out_dir/$(printf '%s%03d.txt' "$prefix" "$index")"
    : > "$target"
done

awk -v parts="$parts" -v dir="$out_dir" -v prefix="$prefix" '
    NF {
        part_index = (NR - 1) % parts
        file = sprintf("%s/%s%03d.txt", dir, prefix, part_index + 1)
        print $0 >> file
    }
' "$input"

for ((index = 1; index <= parts; index++)); do
    target="$out_dir/$(printf '%s%03d.txt' "$prefix" "$index")"
    lines="$(wc -l < "$target" | tr -d ' ')"
    echo "$target: $lines строк"
done

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get files-split-file-list
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Файлы и папки

Поиск, переименование, сортировка, сравнение и безопасная работа с файлами.