Текст и документы

Удалить повторяющиеся строки

Оставляет первое вхождение каждой строки и показывает, сколько повторов было отброшено.

Shell Linux macOS Новичок
Скачать unique_lines.sh
Описание

Что делает скрипт

Скрипт читает файл построчно и запоминает уже встреченные значения, поэтому порядок сохраняется. Есть режим без учёта регистра и безопасная запись в новый файл. Режим --in-place создаёт резервную копию .bak перед заменой.

Перед запуском
  • С --in-place исходный файл заменяется, рядом остаётся копия .bak.
Запуск

Быстрый старт

bash unique_lines.sh input.txt output.txt

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash unique_lines.sh emails.txt unique.txt
  • bash unique_lines.sh emails.txt unique.txt --ignore-case
  • bash unique_lines.sh emails.txt --in-place
Зависимости

Что понадобится

Bash 4+ Стандартные awk, sed, cp, mktemp
Linux sudo apt install bash
macOS brew install bash
Исходник

unique_lines.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 <входной файл> [выходной файл] [--ignore-case] [--in-place]"
}

input=""
output=""
ignore_case=0
in_place=0
while [[ $# -gt 0 ]]; do
    case "$1" in
        --ignore-case) ignore_case=1; shift ;;
        --in-place) in_place=1; shift ;;
        -h|--help) usage; exit 0 ;;
        --*) echo "Неизвестный флаг: $1" >&2; usage >&2; exit 2 ;;
        *)
            if [[ -z "$input" ]]; then
                input="$1"
            elif [[ -z "$output" ]]; then
                output="$1"
            else
                echo "Лишний аргумент: $1" >&2
                exit 2
            fi
            shift
            ;;
    esac
done

if [[ -z "$input" || ! -f "$input" ]]; then
    echo "Укажите существующий входной файл" >&2
    exit 2
fi
if [[ "$in_place" -eq 1 && -n "$output" ]]; then
    echo "С --in-place выходной файл указывать нельзя" >&2
    exit 2
fi
if [[ -n "$output" && "$output" == "$input" ]]; then
    echo "Выходной файл совпадает с входным, используйте --in-place" >&2
    exit 2
fi

tmp_dir="$(mktemp -d)"
trap 'rm -rf -- "$tmp_dir"' EXIT
lower_file=""

if [[ "$ignore_case" -eq 1 ]]; then
    upper="АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ"
    lower="абвгдеёжзийклмнопрстуфхцчшщъыьэюя"
    sed -e "y/${upper}/${lower}/" -e 'y/ABCDEFGHIJKLMNOPQRSTUVWXYZ/abcdefghijklmnopqrstuvwxyz/' "$input" > "$tmp_dir/lower.txt"
    lower_file="$tmp_dir/lower.txt"
fi

filter_unique() {
    if [[ -n "$lower_file" ]]; then
        awk '
            NR == FNR { key[FNR] = $0; next }
            {
                if (key[FNR] in seen) {
                    duplicates++
                } else {
                    seen[key[FNR]] = 1
                    print
                    kept++
                }
            }
            END {
                printf "Оставлено строк: %d, повторов: %d\n", kept, duplicates > "/dev/stderr"
            }
        ' "$lower_file" "$1"
    else
        awk '
            {
                if ($0 in seen) {
                    duplicates++
                } else {
                    seen[$0] = 1
                    print
                    kept++
                }
            }
            END {
                printf "Оставлено строк: %d, повторов: %d\n", kept, duplicates > "/dev/stderr"
            }
        ' "$1"
    fi
}

if [[ "$in_place" -eq 1 ]]; then
    backup="${input}.bak"
    cp -p -- "$input" "$backup"
    filter_unique "$input" > "$tmp_dir/result.txt"
    mv -- "$tmp_dir/result.txt" "$input"
    echo "Файл обновлён, копия: $backup"
elif [[ -n "$output" ]]; then
    filter_unique "$input" > "$output"
    echo "Результат: $output"
else
    filter_unique "$input"
fi

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get text-unique-lines
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Текст и документы

Поиск, замена, кодировки, Markdown, CSV и работа с большими текстами.