Web и API

Разобрать robots.txt

Показывает правила robots.txt, закрытые пути и карту сайта.

Shell Linux macOS Новичок
Скачать robots_check.sh
Описание

Что делает скрипт

Скрипт загружает robots.txt, печатает группы User-agent, директивы Disallow и Allow, а также строки Sitemap. Он предупреждает, если для всех агентов закрыт корень, и сообщает код ответа. Ничего не изменяет и не обходит ограничения.

Запуск

Быстрый старт

bash robots_check.sh https://example.com/robots.txt

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash robots_check.sh https://example.com/robots.txt
  • bash robots_check.sh http://127.0.0.1:8000/robots.txt
Зависимости

Что понадобится

Bash 4+ Стандартные утилиты командной строки
Linux sudo apt install bash
macOS brew install bash
curl HTTP-клиент
Linux sudo apt install curl
macOS brew install curl
Исходник

robots_check.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 URL-robots.txt"
}

url="${1:-https://example.com/robots.txt}"
command -v curl >/dev/null 2>&1 || { echo "Нужен curl" >&2; exit 2; }
tmp="$(mktemp)"
trap 'rm -f "$tmp"' EXIT

code="$(curl -sS -L --max-time 20 -o "$tmp" -w '%{http_code}' "$url" || true)"
echo "URL: $url"
echo "Статус: ${code:-нет ответа}"
if [[ "$code" != "200" ]]; then
    echo "robots.txt недоступен, поисковики могут считать правила открытыми."
    exit 0
fi

echo
echo "Содержимое (первые 40 строк):"
sed -n '1,40p' "$tmp"
echo
echo "Директив Disallow: $(grep -ci '^[[:space:]]*disallow:' "$tmp" || true)"
echo "Директив Allow: $(grep -ci '^[[:space:]]*allow:' "$tmp" || true)"
sitemaps="$(grep -i '^[[:space:]]*sitemap:' "$tmp" || true)"
if [[ -z "$sitemaps" ]]; then
    echo "Sitemap: не указан"
else
    echo "Sitemap:"
    sed 's/^/  /' <<< "$sitemaps"
fi

if grep -qiE '^[[:space:]]*user-agent:[[:space:]]*\*[[:space:]]*$' "$tmp" && grep -qiE '^[[:space:]]*disallow:[[:space:]]*/[[:space:]]*$' "$tmp"; then
    echo "Предупреждение: для всех агентов закрыт корень сайта." >&2
fi

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get web-robots-check
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Web и API

HTTP, API, сайты, заголовки, SSL и проверка веб-сервисов.