Бесплатный инструмент
Проверка доступа ИИ-ботов и цитируемости страницы
Две проверки в одном прогоне: пускает ли сайт краулеры ChatGPT, Claude, Perplexity и Google AI — и есть ли на странице фрагмент, который можно вынуть и процитировать.
- 13ИИ-краулеров в проверке
- 3роли ботов: поиск, обучение, переход
- 2проверки в одном прогоне
Проверка одного сайта
Проверить доступ ИИ-ботов
Укажите адрес — сервис прочитает robots.txt и покажет, каких ИИ-краулеров сайт пускает, а каких закрыл. Заодно разберёт страницу на пригодность к цитированию.
robots.txt проверяется для всего сайта, цитируемость — для указанной страницы.
Бесплатно. Без регистрации. Результат — за несколько секунд.
Как читать результат
Три роли ботов, и запрет значит для них разное
Поисковые
OAI-SearchBot, Claude-SearchBot, PerplexityBot. Обходят сайт, чтобы отвечать со ссылкой на источник. Запрет убирает вас из ответов с цитированием — почти всегда это ошибка конфигурации.
Пользовательские
ChatGPT-User, Claude-User. Заходят на страницу, когда её открывает человек в диалоге с ассистентом. Запрет ломает сценарий «покажи, что на этой странице».
Обучающие
GPTBot, Google-Extended, Applebot-Extended, Bytespider, Amazonbot. Собирают контент для обучения моделей. Закрывать их или нет — решение владельца, и обе позиции защитимы.
SEO-специалист, 20 лет опыта, автор инструментов sk-seo.ru · Об авторе
FAQ
Частые вопросы
Что проверяется, как трактовать запрет и чего инструмент не обещает.
01Что именно проверяет инструмент?
Он читает robots.txt сайта и разбирает правила для 13 краулеров ИИ-систем: GPTBot и OAI-SearchBot от OpenAI, ClaudeBot и Claude-SearchBot от Anthropic, PerplexityBot, Google-Extended, Applebot-Extended, YandexAdditional и другие. По каждому видно: разрешён, запрещён или не упомянут.
02Закрытый ИИ-бот — это всегда ошибка?
Нет, и это главное различие. Обучающие краулеры берут контент для обучения моделей — закрывать их или нет, решает владелец сайта. Поисковые и пользовательские агенты отвечают за то, попадёте ли вы в ответы со ссылкой. Их запрет почти всегда случайность и стоит видимости.
03Открытый доступ гарантирует цитирование в ChatGPT?
Нет. Доступ — необходимое условие, а не достаточное. Если бот закрыт, страницу не процитируют точно. Если открыт, вопрос переходит к содержанию — и его инструмент тоже разбирает: заголовки, разметку, самодостаточность абзацев, плотность чисел. Но предсказать, процитирует ли конкретная система конкретную страницу, нельзя: такого способа проверки не существует.
04Почему проверка идёт по robots.txt, а не запросом от имени бота?
Запрос с подставленным User-Agent проверяет не доступ бота, а реакцию сервера на строку заголовка. Сайты почти никогда не блокируют по User-Agent, поэтому такой ответ всегда «доступно» независимо от robots.txt. У Google-Extended HTTP-агента вообще нет — это только токен для robots.txt.
05Что делать, если поисковый бот закрыт?
Найдите в robots.txt блок с этим User-Agent и уберите строку Disallow либо замените на Allow. Частая причина — общий шаблон «закрыть всех ботов, кроме Яндекса и Google», написанный до появления ИИ-поиска.
06Данные сохраняются?
Нет. Проверка выполняется в момент запроса, результат не записывается. Ограничение — 20 проверок за 5 минут с одного адреса.
Дальше
Доступ открыт — что дальше
Генератор llms.txt
Карта сайта для языковых моделей: что у вас есть и куда смотреть в первую очередь.
SEO-анализ текста
Цитируют не тексты вообще, а конкретные утверждения. Проверьте, есть ли что цитировать.
Анализ сайта онлайн
Полный разбор страницы: индексация, редиректы, скорость, мета-теги, разметка.