Данные и таблицы
Сгруппировать CSV через Miller
Считает count, sum, mean, min и max по группам одной командой mlr.
Shell
Linux
macOS
Средний
Что делает скрипт
Скрипт вызывает Miller в CSV-режиме и применяет stats1 к выбранным колонкам. Группы задаются списком полей, статистики можно ограничить. Результат пишется в новый CSV, исходник не меняется. Miller удобен для больших файлов и не требует Python.
Перед запуском
- Для нечисловых значений суммы и средние могут привести к ошибке Miller.
Запуск
Быстрый старт
bash groupby_csv.sh --input sales.csv --group city --values amount --stats sum,count,mean
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash groupby_csv.sh --input sales.csv --group city,month --values amount --output monthly.csvbash groupby_csv.sh --input logs.csv --group level --values duration --stats count,mean,max --force
Что понадобится
Bash 4+
Стандартные утилиты coreutils
Linux
sudo apt install bash
macOS
brew install bash
Miller (mlr)
Группировка и статистика по CSV
Linux
sudo apt install miller
macOS
brew install miller
Исходник
groupby_csv.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 --input <файл.csv> --group <колонки> --values <колонки> [--stats <список>] [--output <файл.csv>] [--force]"
}
input=""
group=""
values=""
stats="count,sum,mean,min,max"
output="grouped.csv"
force=0
while [[ $# -gt 0 ]]; do
case "$1" in
--input) input="${2:-}"; shift 2 ;;
--group) group="${2:-}"; shift 2 ;;
--values) values="${2:-}"; shift 2 ;;
--stats) stats="${2:-}"; shift 2 ;;
--output) output="${2:-}"; shift 2 ;;
--force) force=1; shift ;;
-h|--help) usage; exit 0 ;;
*) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
esac
done
if [[ -z "$input" || -z "$group" || -z "$values" ]]; then
usage >&2
exit 2
fi
if ! command -v mlr >/dev/null 2>&1; then
echo "Не найдена программа mlr (Miller)" >&2
exit 2
fi
if [[ ! -f "$input" ]]; then
echo "Файл не найден: $input" >&2
exit 2
fi
if [[ -e "$output" && "$force" -eq 0 ]]; then
echo "Файл уже существует: $output. Добавьте --force" >&2
exit 2
fi
mkdir -p "$(dirname "$output")"
tmp=$(mktemp "${output}.tmp.XXXXXX")
trap 'rm -f "$tmp"' EXIT
mlr --csv stats1 -a "$stats" -f "$values" -g "$group" "$input" > "$tmp"
mv "$tmp" "$output"
trap - EXIT
echo "Группы: $group"
echo "Значения: $values"
echo "Статистики: $stats"
echo "Результат: $output"
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.