Разбить список файлов на части
Делит текстовый список путей на заданное число файлов и показывает количество строк в каждой части.
Что делает скрипт
Скрипт читает список по одному пути на строку и распределяет строки по частям по кругу, чтобы размеры частей были близки. Пустые строки пропускаются, существующие части не перезаписываются без --force. Исходный список не изменяется.
- С --force существующие файлы частей будут очищены.
Быстрый старт
bash split_file_list.sh --input files.txt --parts 4 --out-dir chunks
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash split_file_list.sh --input files.txt --parts 4 --out-dir chunksbash split_file_list.sh --input paths.txt --parts 10 --out-dir parts --force
Что понадобится
sudo apt install bash
brew install bash
split_file_list.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 --input <файл> --parts N --out-dir <папка> [--prefix part-] [--force]"
}
input=""
parts=4
out_dir=""
prefix="part-"
force=0
while [[ $# -gt 0 ]]; do
case "$1" in
--input) input="${2:-}"; shift 2 ;;
--parts) parts="${2:-}"; shift 2 ;;
--out-dir) out_dir="${2:-}"; shift 2 ;;
--prefix) prefix="${2:-}"; shift 2 ;;
--force) force=1; shift ;;
-h|--help) usage; exit 0 ;;
*) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
esac
done
[[ -n "$input" && -f "$input" ]] || { echo "Укажите существующий файл через --input" >&2; exit 2; }
[[ "$parts" =~ ^[1-9][0-9]*$ ]] || { echo "--parts должен быть положительным числом" >&2; exit 2; }
[[ -n "$out_dir" ]] || { echo "Укажите папку через --out-dir" >&2; exit 2; }
[[ "$prefix" != */* ]] || { echo "Префикс не должен содержать /" >&2; exit 2; }
mkdir -p "$out_dir"
for ((index = 1; index <= parts; index++)); do
target="$out_dir/$(printf '%s%03d.txt' "$prefix" "$index")"
if [[ -e "$target" && "$force" -eq 0 ]]; then
echo "Файл уже существует: $target. Добавьте --force" >&2
exit 1
fi
done
for ((index = 1; index <= parts; index++)); do
target="$out_dir/$(printf '%s%03d.txt' "$prefix" "$index")"
: > "$target"
done
awk -v parts="$parts" -v dir="$out_dir" -v prefix="$prefix" '
NF {
part_index = (NR - 1) % parts
file = sprintf("%s/%s%03d.txt", dir, prefix, part_index + 1)
print $0 >> file
}
' "$input"
for ((index = 1; index <= parts; index++)); do
target="$out_dir/$(printf '%s%03d.txt' "$prefix" "$index")"
lines="$(wc -l < "$target" | tr -d ' ')"
echo "$target: $lines строк"
done
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.