Найти дубликаты медиафайлов
Сравнивает размер и SHA-256, показывает группы одинаковых видео, аудио и изображений.
Что делает скрипт
Скрипт сначала отбирает файлы по расширениям и размеру, затем считает контрольные суммы только для кандидатов. Группы с одинаковым хешем выводятся с путями и размером. Удаление не выполняется, решение всегда остаётся за пользователем.
Быстрый старт
bash duplicate_media.sh --dir ~/Media
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash duplicate_media.sh --dir ~/Mediabash duplicate_media.sh --dir ~/Media --min-size 10485760bash duplicate_media.sh --dir ./downloads --min-size 1048576
Что понадобится
sudo apt install bash
brew install bash
duplicate_media.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 --dir <папка> [--min-size <байт>]"
}
root=""
min_size=1
while [[ $# -gt 0 ]]; do
case "$1" in
--dir) root="${2:-}"; shift 2 ;;
--min-size) min_size="${2:-}"; shift 2 ;;
-h|--help) usage; exit 0 ;;
*) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
esac
done
if [[ -z "$root" || ! -d "$root" ]]; then
echo "Укажите существующую папку через --dir" >&2
exit 2
fi
if ! [[ "$min_size" =~ ^[0-9]+$ ]]; then
echo "--min-size должен быть числом байт" >&2
exit 2
fi
if command -v sha256sum >/dev/null 2>&1; then
hash_cmd=(sha256sum)
elif command -v shasum >/dev/null 2>&1; then
hash_cmd=(shasum -a 256)
else
echo "Нужен sha256sum или shasum." >&2
exit 2
fi
tmp=$(mktemp -d)
trap 'rm -rf "$tmp"' EXIT
find "$root" -type f \( -iname '*.mp4' -o -iname '*.mkv' -o -iname '*.avi' -o -iname '*.mov' -o -iname '*.mp3' -o -iname '*.flac' -o -iname '*.m4a' -o -iname '*.ogg' -o -iname '*.jpg' -o -iname '*.jpeg' -o -iname '*.png' \) -print0 |
while IFS= read -r -d '' file; do
size=$(wc -c < "$file" | tr -d ' ')
if [[ "$size" -ge "$min_size" ]]; then
printf '%s\t%s\n' "$size" "$file"
fi
done > "$tmp/sizes"
awk -F '\t' '{ count[$1]++ } END { for (size in count) if (count[size] > 1) print size }' "$tmp/sizes" > "$tmp/sizes_dup"
awk -F '\t' 'NR == FNR { keep[$1] = 1; next } keep[$1] { print }' "$tmp/sizes_dup" "$tmp/sizes" > "$tmp/candidates"
if [[ ! -s "$tmp/candidates" ]]; then
echo "Файлов с одинаковым размером не найдено."
exit 0
fi
while IFS=$'\t' read -r size file; do
digest=$("${hash_cmd[@]}" "$file" | awk '{print $1}')
printf '%s\t%s\t%s\n' "$digest" "$size" "$file"
done < "$tmp/candidates" > "$tmp/hashes"
sort "$tmp/hashes" > "$tmp/sorted"
awk -F '\t' '
{
count[$1]++
files[$1] = files[$1] "\n " $3 " (" $2 " bytes)"
}
END {
for (digest in count) {
if (count[digest] > 1) {
printf "%s\n%s\n", digest, files[digest]
}
}
}' "$tmp/sorted" > "$tmp/report"
groups=$(grep -c '^[0-9a-f]\{64\}$' "$tmp/report" || true)
if [[ "$groups" -eq 0 ]]; then
echo "Дубликатов не найдено."
exit 0
fi
cat "$tmp/report"
echo "Групп дубликатов: $groups"
echo "Файлы не удалялись."
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.