Web и API
Разобрать robots.txt
Показывает правила robots.txt, закрытые пути и карту сайта.
Shell
Linux
macOS
Новичок
Что делает скрипт
Скрипт загружает robots.txt, печатает группы User-agent, директивы Disallow и Allow, а также строки Sitemap. Он предупреждает, если для всех агентов закрыт корень, и сообщает код ответа. Ничего не изменяет и не обходит ограничения.
Запуск
Быстрый старт
bash robots_check.sh https://example.com/robots.txt
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash robots_check.sh https://example.com/robots.txtbash robots_check.sh http://127.0.0.1:8000/robots.txt
Что понадобится
Bash 4+
Стандартные утилиты командной строки
Linux
sudo apt install bash
macOS
brew install bash
curl
HTTP-клиент
Linux
sudo apt install curl
macOS
brew install curl
Исходник
robots_check.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 URL-robots.txt"
}
url="${1:-https://example.com/robots.txt}"
command -v curl >/dev/null 2>&1 || { echo "Нужен curl" >&2; exit 2; }
tmp="$(mktemp)"
trap 'rm -f "$tmp"' EXIT
code="$(curl -sS -L --max-time 20 -o "$tmp" -w '%{http_code}' "$url" || true)"
echo "URL: $url"
echo "Статус: ${code:-нет ответа}"
if [[ "$code" != "200" ]]; then
echo "robots.txt недоступен, поисковики могут считать правила открытыми."
exit 0
fi
echo
echo "Содержимое (первые 40 строк):"
sed -n '1,40p' "$tmp"
echo
echo "Директив Disallow: $(grep -ci '^[[:space:]]*disallow:' "$tmp" || true)"
echo "Директив Allow: $(grep -ci '^[[:space:]]*allow:' "$tmp" || true)"
sitemaps="$(grep -i '^[[:space:]]*sitemap:' "$tmp" || true)"
if [[ -z "$sitemaps" ]]; then
echo "Sitemap: не указан"
else
echo "Sitemap:"
sed 's/^/ /' <<< "$sitemaps"
fi
if grep -qiE '^[[:space:]]*user-agent:[[:space:]]*\*[[:space:]]*$' "$tmp" && grep -qiE '^[[:space:]]*disallow:[[:space:]]*/[[:space:]]*$' "$tmp"; then
echo "Предупреждение: для всех агентов закрыт корень сайта." >&2
fi
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.