Бесплатный инструмент
Проверка доступа ИИ-ботов и цитируемости страницы
Две проверки я свёл в один прогон. Пускает ли сайт краулеры ChatGPT, Claude, Perplexity и Google AI, и есть ли на странице фрагмент, который можно вынуть и процитировать.
- 15ИИ-краулеров в проверке
- 3роли ботов: поиск, обучение, переход
- 2проверки в одном прогоне
Проверка одного сайта
Проверить доступ ИИ-ботов
Укажите адрес — сервис прочитает robots.txt, запросит страницу от имени ботов и покажет, каких ИИ-краулеров сайт пускает, а каких закрыл правилом или ответом сервера. Заодно разберёт страницу на пригодность к цитированию.
Правила robots.txt и ответ сервера проверяются для указанной страницы, там же считается цитируемость.
Бесплатно. Без регистрации. До 3 проверок за 24 часа с одного IP-адреса.
Как читать результат
Три роли ботов, и запрет значит для них разное
Поисковые
OAI-SearchBot, Claude-SearchBot, PerplexityBot. Обходят сайт, чтобы отвечать со ссылкой на источник. Запрет убирает вас из ответов с цитированием, и почти всегда это ошибка конфигурации.
Пользовательские
ChatGPT-User, Claude-User. Заходят на страницу, когда её открывает человек в диалоге с ассистентом. Запрет ломает сценарий «покажи, что на этой странице».
Обучающие
GPTBot, Google-Extended, Applebot-Extended, Bytespider, Amazonbot. Собирают контент для обучения моделей. Закрывать их или нет — решение владельца, и обе позиции защитимы.
SEO-специалист, 20 лет опыта, автор инструментов sk-seo.ru · Об авторе
FAQ
Частые вопросы
Что проверяется, как трактовать запрет и чего инструмент не обещает.
01Что именно проверяет инструмент?
Две вещи. Первая — правила robots.txt для 15 краулеров ИИ-систем: GPTBot, OAI-SearchBot и ChatGPT-User от OpenAI, три бота Anthropic, два бота Perplexity, Google-Extended, Applebot-Extended, YandexAdditional и другие. Вторая — ответ сервера: страница запрашивается браузером и с User-Agent десяти ботов, и видно, кому сайт отказал, хотя robots.txt его пускает.
02Закрытый ИИ-бот — это всегда ошибка?
Нет, и это главное различие. Обучающие краулеры берут контент для обучения моделей, а закрывать их или нет, решает владелец сайта. Поисковые и пользовательские агенты отвечают за то, попадёте ли вы в ответы со ссылкой. Их запрет почти всегда случайность и стоит видимости.
03Открытый доступ гарантирует цитирование в ChatGPT?
Нет. Доступ — необходимое условие, а не достаточное. Если бот закрыт, страницу не процитируют точно. Если открыт, вопрос переходит к содержанию, и его инструмент тоже разбирает. Заголовки, разметку, самодостаточность абзацев, плотность чисел. Но предсказать, процитирует ли конкретная система конкретную страницу, я не берусь, и никто не берётся, ведь такого способа проверки не существует.
04Зачем проверять ответ сервера, если есть robots.txt?
robots.txt — просьба к боту, а решение принимает сервер. WAF и CDN, например настройка блокировки AI-ботов в Cloudflare, отказывают краулерам по User-Agent, и в robots.txt этого не видно. Поэтому страница запрашивается дважды: браузером и от имени бота, а отказом считается только расхождение с браузером. Запросы идут с сервера sk-seo.ru, а не с адресов владельцев ботов, поэтому результат показывает реакцию сайта на строку User-Agent. Защита, которая проверяет IP настоящих ботов, может отвечать им иначе, окончательный ответ дают логи сервера. Google-Extended, Applebot-Extended и YandexAdditional сами страниц не запрашивают, это токены robots.txt, и их проверяет только он.
05Что делать, если поисковый бот закрыт?
Если закрыт в robots.txt, найдите блок с этим User-Agent и уберите строку Disallow либо замените на Allow. Частая причина — общий шаблон «закрыть всех ботов, кроме Яндекса и Google», написанный до появления ИИ-поиска. Если отказывает сервер, смотрите правила WAF и CDN и настройки хостинга: сам сайт тут обычно ни при чём.
06Данные сохраняются?
Нет. Проверка выполняется в момент запроса, результат не записывается. Ограничение — 3 проверки за 24 часа с одного IP-адреса.
Дальше
Доступ открыт — что дальше
Генератор llms.txt
Карта сайта для языковых моделей, где видно, что у вас есть и куда смотреть в первую очередь.
SEO-анализ текста
Цитируют не тексты вообще, а конкретные утверждения. Проверьте, есть ли что цитировать.
Анализ сайта онлайн
Полный разбор страницы, где индексация, редиректы, скорость, мета-теги, разметка.