#!/usr/bin/env bash set -euo pipefail usage() { echo "Использование: $0 URL-robots.txt" } url="${1:-https://example.com/robots.txt}" command -v curl >/dev/null 2>&1 || { echo "Нужен curl" >&2; exit 2; } tmp="$(mktemp)" trap 'rm -f "$tmp"' EXIT code="$(curl -sS -L --max-time 20 -o "$tmp" -w '%{http_code}' "$url" || true)" echo "URL: $url" echo "Статус: ${code:-нет ответа}" if [[ "$code" != "200" ]]; then echo "robots.txt недоступен, поисковики могут считать правила открытыми." exit 0 fi echo echo "Содержимое (первые 40 строк):" sed -n '1,40p' "$tmp" echo echo "Директив Disallow: $(grep -ci '^[[:space:]]*disallow:' "$tmp" || true)" echo "Директив Allow: $(grep -ci '^[[:space:]]*allow:' "$tmp" || true)" sitemaps="$(grep -i '^[[:space:]]*sitemap:' "$tmp" || true)" if [[ -z "$sitemaps" ]]; then echo "Sitemap: не указан" else echo "Sitemap:" sed 's/^/ /' <<< "$sitemaps" fi if grep -qiE '^[[:space:]]*user-agent:[[:space:]]*\*[[:space:]]*$' "$tmp" && grep -qiE '^[[:space:]]*disallow:[[:space:]]*/[[:space:]]*$' "$tmp"; then echo "Предупреждение: для всех агентов закрыт корень сайта." >&2 fi