Текст и документы
Удалить повторяющиеся строки
Оставляет первое вхождение каждой строки и показывает, сколько повторов было отброшено.
Shell
Linux
macOS
Новичок
Что делает скрипт
Скрипт читает файл построчно и запоминает уже встреченные значения, поэтому порядок сохраняется. Есть режим без учёта регистра и безопасная запись в новый файл. Режим --in-place создаёт резервную копию .bak перед заменой.
Перед запуском
- С --in-place исходный файл заменяется, рядом остаётся копия .bak.
Запуск
Быстрый старт
bash unique_lines.sh input.txt output.txt
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash unique_lines.sh emails.txt unique.txtbash unique_lines.sh emails.txt unique.txt --ignore-casebash unique_lines.sh emails.txt --in-place
Что понадобится
Bash 4+
Стандартные awk, sed, cp, mktemp
Linux
sudo apt install bash
macOS
brew install bash
Исходник
unique_lines.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 <входной файл> [выходной файл] [--ignore-case] [--in-place]"
}
input=""
output=""
ignore_case=0
in_place=0
while [[ $# -gt 0 ]]; do
case "$1" in
--ignore-case) ignore_case=1; shift ;;
--in-place) in_place=1; shift ;;
-h|--help) usage; exit 0 ;;
--*) echo "Неизвестный флаг: $1" >&2; usage >&2; exit 2 ;;
*)
if [[ -z "$input" ]]; then
input="$1"
elif [[ -z "$output" ]]; then
output="$1"
else
echo "Лишний аргумент: $1" >&2
exit 2
fi
shift
;;
esac
done
if [[ -z "$input" || ! -f "$input" ]]; then
echo "Укажите существующий входной файл" >&2
exit 2
fi
if [[ "$in_place" -eq 1 && -n "$output" ]]; then
echo "С --in-place выходной файл указывать нельзя" >&2
exit 2
fi
if [[ -n "$output" && "$output" == "$input" ]]; then
echo "Выходной файл совпадает с входным, используйте --in-place" >&2
exit 2
fi
tmp_dir="$(mktemp -d)"
trap 'rm -rf -- "$tmp_dir"' EXIT
lower_file=""
if [[ "$ignore_case" -eq 1 ]]; then
upper="АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ"
lower="абвгдеёжзийклмнопрстуфхцчшщъыьэюя"
sed -e "y/${upper}/${lower}/" -e 'y/ABCDEFGHIJKLMNOPQRSTUVWXYZ/abcdefghijklmnopqrstuvwxyz/' "$input" > "$tmp_dir/lower.txt"
lower_file="$tmp_dir/lower.txt"
fi
filter_unique() {
if [[ -n "$lower_file" ]]; then
awk '
NR == FNR { key[FNR] = $0; next }
{
if (key[FNR] in seen) {
duplicates++
} else {
seen[key[FNR]] = 1
print
kept++
}
}
END {
printf "Оставлено строк: %d, повторов: %d\n", kept, duplicates > "/dev/stderr"
}
' "$lower_file" "$1"
else
awk '
{
if ($0 in seen) {
duplicates++
} else {
seen[$0] = 1
print
kept++
}
}
END {
printf "Оставлено строк: %d, повторов: %d\n", kept, duplicates > "/dev/stderr"
}
' "$1"
fi
}
if [[ "$in_place" -eq 1 ]]; then
backup="${input}.bak"
cp -p -- "$input" "$backup"
filter_unique "$input" > "$tmp_dir/result.txt"
mv -- "$tmp_dir/result.txt" "$input"
echo "Файл обновлён, копия: $backup"
elif [[ -n "$output" ]]; then
filter_unique "$input" > "$output"
echo "Результат: $output"
else
filter_unique "$input"
fi
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.