Текст и документы
Извлечь ссылки из текста
Находит HTTP и HTTPS ссылки, убирает хвостовую пунктуацию и считает домены.
Shell
Linux
macOS
Новичок
Что делает скрипт
Скрипт проходит по файлам, вытаскивает адреса через grep и очищает знаки препинания на конце. Повторы убираются, а режим --domains показывает, какие сайты встречаются чаще всего. Чтение безопасное, результат можно сохранить в файл.
Запуск
Быстрый старт
bash extract_urls.sh --dir ./docs --output links.txt
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash extract_urls.sh --dir ./docsbash extract_urls.sh --dir ./docs --pattern '*.md' --domainsbash extract_urls.sh --dir ./docs --output links.txt
Что понадобится
Bash 4+
Стандартные grep, sed, sort, find
Linux
sudo apt install bash
macOS
brew install bash
Исходник
extract_urls.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 --dir <папка> [--pattern '*.md'] [--output файл] [--domains]"
}
dir=""
pattern="*"
output=""
domains=0
while [[ $# -gt 0 ]]; do
case "$1" in
--dir) dir="${2:-}"; shift 2 ;;
--pattern) pattern="${2:-}"; shift 2 ;;
--output) output="${2:-}"; shift 2 ;;
--domains) domains=1; shift ;;
-h|--help) usage; exit 0 ;;
*) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
esac
done
if [[ -z "$dir" || ! -d "$dir" ]]; then
echo "Укажите существующую папку через --dir" >&2
exit 2
fi
tmp_dir="$(mktemp -d)"
trap 'rm -rf -- "$tmp_dir"' EXIT
url_pattern='https?://[^[:space:]<>"]+'
while IFS= read -r -d '' file; do
grep -Eoh "$url_pattern" -- "$file" 2>/dev/null || true
done < <(find "$dir" -type f -name "$pattern" -print0) | sed -E 's/[),.;:!?]+$//' | sort -u > "$tmp_dir/urls.txt"
if [[ ! -s "$tmp_dir/urls.txt" ]]; then
echo "Ссылки не найдены"
exit 1
fi
if [[ "$domains" -eq 1 ]]; then
awk -F/ '{ print $3 }' "$tmp_dir/urls.txt" | sed -E 's/^www\.//' | sort | uniq -c | sort -rn > "$tmp_dir/report.txt"
else
cp -- "$tmp_dir/urls.txt" "$tmp_dir/report.txt"
fi
if [[ -n "$output" ]]; then
cp -- "$tmp_dir/report.txt" "$output"
echo "Результат: $output"
else
cat "$tmp_dir/report.txt"
fi
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.