Файлы и папки

Заменить дубликаты жёсткими ссылками

Находит одинаковые файлы по SHA-256 и после подтверждения заменяет копии жёсткими ссылками на первый экземпляр.

Shell Linux macOS Продвинутый
Скачать hardlink_duplicates.sh
Описание

Что делает скрипт

Скрипт группирует файлы по SHA-256 и предлагает заменить дубликаты ссылками, чтобы освободить место без потери путей. Работает в пределах одного дерева и файловой системы, проверяет конфликты и уже существующие ссылки. По умолчанию только показывает план, изменение требует --apply и подтверждения.

Перед запуском
  • Жёсткие ссылки разделяют содержимое файлов. Изменение одного экземпляра изменит все ссылки в группе.
Запуск

Быстрый старт

bash hardlink_duplicates.sh --dir ~/Photos --min-size 1048576

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash hardlink_duplicates.sh --dir ~/Photos --min-size 1048576
  • bash hardlink_duplicates.sh --dir ./dataset --apply
Зависимости

Что понадобится

Bash 4+ Стандартные утилиты find, stat, sort, tar, awk, du и sha256sum или shasum
Linux sudo apt install bash
macOS brew install bash
Исходник

hardlink_duplicates.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 --dir <папка> [--min-size N] [--apply] [--yes]"
}

dir=""
min_size=1
apply=0
yes=0
while [[ $# -gt 0 ]]; do
    case "$1" in
        --dir) dir="${2:-}"; shift 2 ;;
        --min-size) min_size="${2:-}"; shift 2 ;;
        --apply) apply=1; shift ;;
        --yes) yes=1; shift ;;
        -h|--help) usage; exit 0 ;;
        *) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
    esac
done

[[ -n "$dir" && -d "$dir" ]] || { echo "Укажите существующую папку через --dir" >&2; exit 2; }
[[ "$min_size" =~ ^[0-9]+$ ]] || { echo "--min-size должен быть числом" >&2; exit 2; }
dir="$(cd "$dir" && pwd -P)"

if command -v sha256sum >/dev/null 2>&1; then
    hash_file() { sha256sum "$1" | awk '{print $1}'; }
elif command -v shasum >/dev/null 2>&1; then
    hash_file() { shasum -a 256 "$1" | awk '{print $1}'; }
else
    echo "Нужен sha256sum или shasum" >&2
    exit 2
fi

file_size() {
    if stat -c %s "$1" >/dev/null 2>&1; then
        stat -c %s "$1"
    else
        stat -f %z "$1"
    fi
}

file_inode() {
    if stat -c %i "$1" >/dev/null 2>&1; then
        stat -c %i "$1"
    else
        stat -f %i "$1"
    fi
}

tmp="$(mktemp -d)"
trap 'rm -rf "$tmp"' EXIT

while IFS= read -r -d '' file; do
    size="$(file_size "$file")"
    [[ "$size" -ge "$min_size" ]] || continue
    digest="$(hash_file "$file")"
    printf '%s\0' "$file" >> "$tmp/$digest"
done < <(find "$dir" -type f -print0)

groups=0
saved=0
for group in "$tmp"/*; do
    [[ -f "$group" ]] || continue
    count="$(tr -cd '\000' < "$group" | wc -c | tr -d ' ')"
    [[ "$count" -gt 1 ]] || continue
    groups=$((groups + 1))
    keep=""
    while IFS= read -r -d '' file; do
        if [[ -z "$keep" ]]; then
            keep="$file"
            continue
        fi
        if [[ "$(file_inode "$file")" == "$(file_inode "$keep")" ]]; then
            continue
        fi
        size="$(file_size "$file")"
        saved=$((saved + size))
        printf 'Дубликат: %s\n  ссылка на: %s\n' "${file#"$dir"/}" "${keep#"$dir"/}"
    done < "$group"
done

if [[ "$groups" -eq 0 ]]; then
    echo "Дубликаты не найдены."
    exit 0
fi

echo "Групп: $groups, можно освободить: $saved байт"
if [[ "$apply" -eq 0 ]]; then
    echo "Это предпросмотр. Для замены добавьте --apply."
    exit 0
fi

if [[ "$yes" -eq 0 ]]; then
    if [[ ! -t 0 ]]; then
        echo "Нужно подтверждение. Добавьте --yes" >&2
        exit 2
    fi
    read -r -p "Заменить дубликаты жёсткими ссылками? Введите yes: " answer
    [[ "$answer" == "yes" || "$answer" == "да" ]] || { echo "Отменено."; exit 1; }
fi

linked=0
failed=0
for group in "$tmp"/*; do
    [[ -f "$group" ]] || continue
    keep=""
    while IFS= read -r -d '' file; do
        if [[ -z "$keep" ]]; then
            keep="$file"
            continue
        fi
        if [[ "$(file_inode "$file")" == "$(file_inode "$keep")" ]]; then
            continue
        fi
        temp_link="$file.__hardlink.$$"
        if [[ -e "$temp_link" ]]; then
            echo "Пропуск, временный путь занят: $temp_link" >&2
            failed=$((failed + 1))
            continue
        fi
        if ln "$keep" "$temp_link" 2>/dev/null; then
            mv -f "$temp_link" "$file"
            linked=$((linked + 1))
            echo "Ссылка: ${file#"$dir"/}"
        else
            rm -f "$temp_link"
            echo "Не удалось создать ссылку: $file" >&2
            failed=$((failed + 1))
        fi
    done < "$group"
done

echo "Заменено: $linked, ошибок: $failed"
[[ "$failed" -eq 0 ]]

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get files-hardlink-duplicates
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Файлы и папки

Поиск, переименование, сортировка, сравнение и безопасная работа с файлами.