#!/usr/bin/env bash set -euo pipefail usage() { echo "Использование: $0 <входной файл> [выходной файл] [--ignore-case] [--in-place]" } input="" output="" ignore_case=0 in_place=0 while [[ $# -gt 0 ]]; do case "$1" in --ignore-case) ignore_case=1; shift ;; --in-place) in_place=1; shift ;; -h|--help) usage; exit 0 ;; --*) echo "Неизвестный флаг: $1" >&2; usage >&2; exit 2 ;; *) if [[ -z "$input" ]]; then input="$1" elif [[ -z "$output" ]]; then output="$1" else echo "Лишний аргумент: $1" >&2 exit 2 fi shift ;; esac done if [[ -z "$input" || ! -f "$input" ]]; then echo "Укажите существующий входной файл" >&2 exit 2 fi if [[ "$in_place" -eq 1 && -n "$output" ]]; then echo "С --in-place выходной файл указывать нельзя" >&2 exit 2 fi if [[ -n "$output" && "$output" == "$input" ]]; then echo "Выходной файл совпадает с входным, используйте --in-place" >&2 exit 2 fi tmp_dir="$(mktemp -d)" trap 'rm -rf -- "$tmp_dir"' EXIT lower_file="" if [[ "$ignore_case" -eq 1 ]]; then upper="АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ" lower="абвгдеёжзийклмнопрстуфхцчшщъыьэюя" sed -e "y/${upper}/${lower}/" -e 'y/ABCDEFGHIJKLMNOPQRSTUVWXYZ/abcdefghijklmnopqrstuvwxyz/' "$input" > "$tmp_dir/lower.txt" lower_file="$tmp_dir/lower.txt" fi filter_unique() { if [[ -n "$lower_file" ]]; then awk ' NR == FNR { key[FNR] = $0; next } { if (key[FNR] in seen) { duplicates++ } else { seen[key[FNR]] = 1 print kept++ } } END { printf "Оставлено строк: %d, повторов: %d\n", kept, duplicates > "/dev/stderr" } ' "$lower_file" "$1" else awk ' { if ($0 in seen) { duplicates++ } else { seen[$0] = 1 print kept++ } } END { printf "Оставлено строк: %d, повторов: %d\n", kept, duplicates > "/dev/stderr" } ' "$1" fi } if [[ "$in_place" -eq 1 ]]; then backup="${input}.bak" cp -p -- "$input" "$backup" filter_unique "$input" > "$tmp_dir/result.txt" mv -- "$tmp_dir/result.txt" "$input" echo "Файл обновлён, копия: $backup" elif [[ -n "$output" ]]; then filter_unique "$input" > "$output" echo "Результат: $output" else filter_unique "$input" fi