Текст и документы

Извлечь ссылки из текста

Находит HTTP и HTTPS ссылки, убирает хвостовую пунктуацию и считает домены.

Shell Linux macOS Новичок
Скачать extract_urls.sh
Описание

Что делает скрипт

Скрипт проходит по файлам, вытаскивает адреса через grep и очищает знаки препинания на конце. Повторы убираются, а режим --domains показывает, какие сайты встречаются чаще всего. Чтение безопасное, результат можно сохранить в файл.

Запуск

Быстрый старт

bash extract_urls.sh --dir ./docs --output links.txt

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash extract_urls.sh --dir ./docs
  • bash extract_urls.sh --dir ./docs --pattern '*.md' --domains
  • bash extract_urls.sh --dir ./docs --output links.txt
Зависимости

Что понадобится

Bash 4+ Стандартные grep, sed, sort, find
Linux sudo apt install bash
macOS brew install bash
Исходник

extract_urls.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 --dir <папка> [--pattern '*.md'] [--output файл] [--domains]"
}

dir=""
pattern="*"
output=""
domains=0
while [[ $# -gt 0 ]]; do
    case "$1" in
        --dir) dir="${2:-}"; shift 2 ;;
        --pattern) pattern="${2:-}"; shift 2 ;;
        --output) output="${2:-}"; shift 2 ;;
        --domains) domains=1; shift ;;
        -h|--help) usage; exit 0 ;;
        *) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
    esac
done

if [[ -z "$dir" || ! -d "$dir" ]]; then
    echo "Укажите существующую папку через --dir" >&2
    exit 2
fi

tmp_dir="$(mktemp -d)"
trap 'rm -rf -- "$tmp_dir"' EXIT

url_pattern='https?://[^[:space:]<>"]+'

while IFS= read -r -d '' file; do
    grep -Eoh "$url_pattern" -- "$file" 2>/dev/null || true
done < <(find "$dir" -type f -name "$pattern" -print0)     | sed -E 's/[),.;:!?]+$//'     | sort -u > "$tmp_dir/urls.txt"

if [[ ! -s "$tmp_dir/urls.txt" ]]; then
    echo "Ссылки не найдены"
    exit 1
fi

if [[ "$domains" -eq 1 ]]; then
    awk -F/ '{ print $3 }' "$tmp_dir/urls.txt"         | sed -E 's/^www\.//'         | sort         | uniq -c         | sort -rn > "$tmp_dir/report.txt"
else
    cp -- "$tmp_dir/urls.txt" "$tmp_dir/report.txt"
fi

if [[ -n "$output" ]]; then
    cp -- "$tmp_dir/report.txt" "$output"
    echo "Результат: $output"
else
    cat "$tmp_dir/report.txt"
fi

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get text-extract-urls
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Текст и документы

Поиск, замена, кодировки, Markdown, CSV и работа с большими текстами.

Теги