Данные и таблицы

Сгруппировать CSV через Miller

Считает count, sum, mean, min и max по группам одной командой mlr.

Shell Linux macOS Средний
Скачать groupby_csv.sh
Описание

Что делает скрипт

Скрипт вызывает Miller в CSV-режиме и применяет stats1 к выбранным колонкам. Группы задаются списком полей, статистики можно ограничить. Результат пишется в новый CSV, исходник не меняется. Miller удобен для больших файлов и не требует Python.

Перед запуском
  • Для нечисловых значений суммы и средние могут привести к ошибке Miller.
Запуск

Быстрый старт

bash groupby_csv.sh --input sales.csv --group city --values amount --stats sum,count,mean

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash groupby_csv.sh --input sales.csv --group city,month --values amount --output monthly.csv
  • bash groupby_csv.sh --input logs.csv --group level --values duration --stats count,mean,max --force
Зависимости

Что понадобится

Bash 4+ Стандартные утилиты coreutils
Linux sudo apt install bash
macOS brew install bash
Miller (mlr) Группировка и статистика по CSV
Linux sudo apt install miller
macOS brew install miller
Исходник

groupby_csv.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 --input <файл.csv> --group <колонки> --values <колонки> [--stats <список>] [--output <файл.csv>] [--force]"
}

input=""
group=""
values=""
stats="count,sum,mean,min,max"
output="grouped.csv"
force=0

while [[ $# -gt 0 ]]; do
    case "$1" in
        --input) input="${2:-}"; shift 2 ;;
        --group) group="${2:-}"; shift 2 ;;
        --values) values="${2:-}"; shift 2 ;;
        --stats) stats="${2:-}"; shift 2 ;;
        --output) output="${2:-}"; shift 2 ;;
        --force) force=1; shift ;;
        -h|--help) usage; exit 0 ;;
        *) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
    esac
done

if [[ -z "$input" || -z "$group" || -z "$values" ]]; then
    usage >&2
    exit 2
fi
if ! command -v mlr >/dev/null 2>&1; then
    echo "Не найдена программа mlr (Miller)" >&2
    exit 2
fi
if [[ ! -f "$input" ]]; then
    echo "Файл не найден: $input" >&2
    exit 2
fi
if [[ -e "$output" && "$force" -eq 0 ]]; then
    echo "Файл уже существует: $output. Добавьте --force" >&2
    exit 2
fi

mkdir -p "$(dirname "$output")"
tmp=$(mktemp "${output}.tmp.XXXXXX")
trap 'rm -f "$tmp"' EXIT

mlr --csv stats1 -a "$stats" -f "$values" -g "$group" "$input" > "$tmp"
mv "$tmp" "$output"
trap - EXIT

echo "Группы: $group"
echo "Значения: $values"
echo "Статистики: $stats"
echo "Результат: $output"

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-groupby
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.

Теги