Заменить дубликаты жёсткими ссылками
Находит одинаковые файлы по SHA-256 и после подтверждения заменяет копии жёсткими ссылками на первый экземпляр.
Что делает скрипт
Скрипт группирует файлы по SHA-256 и предлагает заменить дубликаты ссылками, чтобы освободить место без потери путей. Работает в пределах одного дерева и файловой системы, проверяет конфликты и уже существующие ссылки. По умолчанию только показывает план, изменение требует --apply и подтверждения.
- Жёсткие ссылки разделяют содержимое файлов. Изменение одного экземпляра изменит все ссылки в группе.
Быстрый старт
bash hardlink_duplicates.sh --dir ~/Photos --min-size 1048576
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash hardlink_duplicates.sh --dir ~/Photos --min-size 1048576bash hardlink_duplicates.sh --dir ./dataset --apply
Что понадобится
sudo apt install bash
brew install bash
hardlink_duplicates.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 --dir <папка> [--min-size N] [--apply] [--yes]"
}
dir=""
min_size=1
apply=0
yes=0
while [[ $# -gt 0 ]]; do
case "$1" in
--dir) dir="${2:-}"; shift 2 ;;
--min-size) min_size="${2:-}"; shift 2 ;;
--apply) apply=1; shift ;;
--yes) yes=1; shift ;;
-h|--help) usage; exit 0 ;;
*) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
esac
done
[[ -n "$dir" && -d "$dir" ]] || { echo "Укажите существующую папку через --dir" >&2; exit 2; }
[[ "$min_size" =~ ^[0-9]+$ ]] || { echo "--min-size должен быть числом" >&2; exit 2; }
dir="$(cd "$dir" && pwd -P)"
if command -v sha256sum >/dev/null 2>&1; then
hash_file() { sha256sum "$1" | awk '{print $1}'; }
elif command -v shasum >/dev/null 2>&1; then
hash_file() { shasum -a 256 "$1" | awk '{print $1}'; }
else
echo "Нужен sha256sum или shasum" >&2
exit 2
fi
file_size() {
if stat -c %s "$1" >/dev/null 2>&1; then
stat -c %s "$1"
else
stat -f %z "$1"
fi
}
file_inode() {
if stat -c %i "$1" >/dev/null 2>&1; then
stat -c %i "$1"
else
stat -f %i "$1"
fi
}
tmp="$(mktemp -d)"
trap 'rm -rf "$tmp"' EXIT
while IFS= read -r -d '' file; do
size="$(file_size "$file")"
[[ "$size" -ge "$min_size" ]] || continue
digest="$(hash_file "$file")"
printf '%s\0' "$file" >> "$tmp/$digest"
done < <(find "$dir" -type f -print0)
groups=0
saved=0
for group in "$tmp"/*; do
[[ -f "$group" ]] || continue
count="$(tr -cd '\000' < "$group" | wc -c | tr -d ' ')"
[[ "$count" -gt 1 ]] || continue
groups=$((groups + 1))
keep=""
while IFS= read -r -d '' file; do
if [[ -z "$keep" ]]; then
keep="$file"
continue
fi
if [[ "$(file_inode "$file")" == "$(file_inode "$keep")" ]]; then
continue
fi
size="$(file_size "$file")"
saved=$((saved + size))
printf 'Дубликат: %s\n ссылка на: %s\n' "${file#"$dir"/}" "${keep#"$dir"/}"
done < "$group"
done
if [[ "$groups" -eq 0 ]]; then
echo "Дубликаты не найдены."
exit 0
fi
echo "Групп: $groups, можно освободить: $saved байт"
if [[ "$apply" -eq 0 ]]; then
echo "Это предпросмотр. Для замены добавьте --apply."
exit 0
fi
if [[ "$yes" -eq 0 ]]; then
if [[ ! -t 0 ]]; then
echo "Нужно подтверждение. Добавьте --yes" >&2
exit 2
fi
read -r -p "Заменить дубликаты жёсткими ссылками? Введите yes: " answer
[[ "$answer" == "yes" || "$answer" == "да" ]] || { echo "Отменено."; exit 1; }
fi
linked=0
failed=0
for group in "$tmp"/*; do
[[ -f "$group" ]] || continue
keep=""
while IFS= read -r -d '' file; do
if [[ -z "$keep" ]]; then
keep="$file"
continue
fi
if [[ "$(file_inode "$file")" == "$(file_inode "$keep")" ]]; then
continue
fi
temp_link="$file.__hardlink.$$"
if [[ -e "$temp_link" ]]; then
echo "Пропуск, временный путь занят: $temp_link" >&2
failed=$((failed + 1))
continue
fi
if ln "$keep" "$temp_link" 2>/dev/null; then
mv -f "$temp_link" "$file"
linked=$((linked + 1))
echo "Ссылка: ${file#"$dir"/}"
else
rm -f "$temp_link"
echo "Не удалось создать ссылку: $file" >&2
failed=$((failed + 1))
fi
done < "$group"
done
echo "Заменено: $linked, ошибок: $failed"
[[ "$failed" -eq 0 ]]
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.