Медиатека

Найти дубликаты медиафайлов

Сравнивает размер и SHA-256, показывает группы одинаковых видео, аудио и изображений.

Shell Linux macOS Продвинутый
Скачать duplicate_media.sh
Описание

Что делает скрипт

Скрипт сначала отбирает файлы по расширениям и размеру, затем считает контрольные суммы только для кандидатов. Группы с одинаковым хешем выводятся с путями и размером. Удаление не выполняется, решение всегда остаётся за пользователем.

Запуск

Быстрый старт

bash duplicate_media.sh --dir ~/Media

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash duplicate_media.sh --dir ~/Media
  • bash duplicate_media.sh --dir ~/Media --min-size 10485760
  • bash duplicate_media.sh --dir ./downloads --min-size 1048576
Зависимости

Что понадобится

Bash 4+ find, sort, awk и другие стандартные утилиты
Linux sudo apt install bash
macOS brew install bash
Исходник

duplicate_media.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 --dir <папка> [--min-size <байт>]"
}

root=""
min_size=1
while [[ $# -gt 0 ]]; do
    case "$1" in
        --dir) root="${2:-}"; shift 2 ;;
        --min-size) min_size="${2:-}"; shift 2 ;;
        -h|--help) usage; exit 0 ;;
        *) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
    esac
done

if [[ -z "$root" || ! -d "$root" ]]; then
    echo "Укажите существующую папку через --dir" >&2
    exit 2
fi
if ! [[ "$min_size" =~ ^[0-9]+$ ]]; then
    echo "--min-size должен быть числом байт" >&2
    exit 2
fi

if command -v sha256sum >/dev/null 2>&1; then
    hash_cmd=(sha256sum)
elif command -v shasum >/dev/null 2>&1; then
    hash_cmd=(shasum -a 256)
else
    echo "Нужен sha256sum или shasum." >&2
    exit 2
fi

tmp=$(mktemp -d)
trap 'rm -rf "$tmp"' EXIT

find "$root" -type f \( -iname '*.mp4' -o -iname '*.mkv' -o -iname '*.avi' -o -iname '*.mov' -o -iname '*.mp3' -o -iname '*.flac' -o -iname '*.m4a' -o -iname '*.ogg' -o -iname '*.jpg' -o -iname '*.jpeg' -o -iname '*.png' \) -print0 |
while IFS= read -r -d '' file; do
    size=$(wc -c < "$file" | tr -d ' ')
    if [[ "$size" -ge "$min_size" ]]; then
        printf '%s\t%s\n' "$size" "$file"
    fi
done > "$tmp/sizes"

awk -F '\t' '{ count[$1]++ } END { for (size in count) if (count[size] > 1) print size }' "$tmp/sizes" > "$tmp/sizes_dup"
awk -F '\t' 'NR == FNR { keep[$1] = 1; next } keep[$1] { print }' "$tmp/sizes_dup" "$tmp/sizes" > "$tmp/candidates"

if [[ ! -s "$tmp/candidates" ]]; then
    echo "Файлов с одинаковым размером не найдено."
    exit 0
fi

while IFS=$'\t' read -r size file; do
    digest=$("${hash_cmd[@]}" "$file" | awk '{print $1}')
    printf '%s\t%s\t%s\n' "$digest" "$size" "$file"
done < "$tmp/candidates" > "$tmp/hashes"

sort "$tmp/hashes" > "$tmp/sorted"
awk -F '\t' '
{
    count[$1]++
    files[$1] = files[$1] "\n  " $3 " (" $2 " bytes)"
}
END {
    for (digest in count) {
        if (count[digest] > 1) {
            printf "%s\n%s\n", digest, files[digest]
        }
    }
}' "$tmp/sorted" > "$tmp/report"

groups=$(grep -c '^[0-9a-f]\{64\}$' "$tmp/report" || true)
if [[ "$groups" -eq 0 ]]; then
    echo "Дубликатов не найдено."
    exit 0
fi

cat "$tmp/report"
echo "Групп дубликатов: $groups"
echo "Файлы не удалялись."

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get media-duplicate-media
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Медиатека

Плейлисты, метаданные, обложки, субтитры и порядок в коллекциях.