Аудит ссылок в документах
Ищет опасные схемы, HTTP без TLS и punycode в локальных ссылках.
Что делает скрипт
Скрипт собирает ссылки из HTML, Markdown и текстовых файлов и отмечает javascript:, data:, file:, HTTP без TLS, домены в punycode, учётные данные в URL и известные сокращатели. Сеть не используется, страницы не открываются. Результат помогает проверить документацию и шаблоны перед публикацией.
Быстрый старт
bash audit_links.sh --dir ./docs
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash audit_links.sh --dir . --limit 100bash audit_links.sh --dir ./site --limit 50
Что понадобится
sudo apt install bash
brew install bash
audit_links.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: audit_links.sh [--dir КАТАЛОГ] [--limit N]"
}
root="."
limit=50
while [[ $# -gt 0 ]]; do
case "$1" in
--dir) root="${2:-}"; shift 2 ;;
--limit) limit="${2:-50}"; shift 2 ;;
-h|--help) usage; exit 0 ;;
*) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
esac
done
[[ -d "$root" ]] || { echo "Каталог не найден: $root" >&2; exit 2; }
[[ "$limit" =~ ^[1-9][0-9]*$ ]] || { echo "--limit должен быть положительным числом" >&2; exit 2; }
command -v grep >/dev/null 2>&1 || { echo "grep не найден" >&2; exit 2; }
command -v sed >/dev/null 2>&1 || { echo "sed не найден" >&2; exit 2; }
urls="$(mktemp)"
trap 'rm -f "$urls" "$urls.uniq"' EXIT
while IFS= read -r -d '' file; do
grep -oE '(href|src)="[^"]*"|\]\([^)]*\)|(https?|ftp|javascript|data|file):[^"[:space:]<>) ]+' "$file" 2>/dev/null || true
done < <(find "$root" -type f \( -name '*.html' -o -name '*.htm' -o -name '*.md' -o -name '*.markdown' -o -name '*.txt' \) -print0 2>/dev/null) > "$urls"
sed -E 's/^(href|src)="//; s/"$//; s/^\]\(//; s/\)$//' "$urls" | sort -u > "$urls.uniq"
mv "$urls.uniq" "$urls"
total="$(wc -l < "$urls")"
echo "Каталог: $root"
echo "Уникальных ссылок: $total"
echo
suspicious=0
shown=0
while IFS= read -r url; do
reason=""
case "$url" in
javascript:*|vbscript:*|data:*|file:*)
reason="опасная схема"
;;
http://*)
case "$url" in
http://localhost*|http://127.0.0.1*) ;;
*) reason="HTTP без TLS" ;;
esac
;;
esac
if [[ "$url" == *"xn--"* && -z "$reason" ]]; then
reason="punycode в домене"
fi
if [[ "$url" =~ ^[a-z]+://[^/]*@ && -z "$reason" ]]; then
reason="учётные данные в URL"
fi
if [[ -z "$reason" ]]; then
for short in bit.ly tinyurl.com t.co goo.gl; do
if [[ "$url" == *"$short"* ]]; then
reason="сокращатель ссылок"
break
fi
done
fi
if [[ -n "$reason" ]]; then
suspicious=$((suspicious + 1))
if (( shown < limit )); then
printf ' [%s] %s\n' "$reason" "$url"
shown=$((shown + 1))
fi
fi
done < "$urls"
echo
echo "Подозрительных ссылок: $suspicious"
if (( suspicious > shown )); then
echo "Показаны первые $shown."
fi
echo "Сеть не использовалась, файлы не изменялись."
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.