Файл llms.txt: как создать, пример и проверка на 8 AI-системах

С чего начинает AI-агент, когда получает задачу разобраться со структурой сайта? Я протестировал 8 систем в мае 2026. ChatGPT 5.5 и Grok 4, когда их спрашиваешь напрямую, называют /llms.txt первым шагом и читают его по прямому запросу. Остальные шесть этого не делают. Ни одна система не идёт к файлу сама без запроса.

Из теста я вынес вывод, что llms.txt не двигает позиции в поиске и не заменяет ранжирование, а помогает агенту сориентироваться в структуре сайта. Один слой инфраструктуры в общем стеке, который уже работает для двух самых используемых агентных платформ и стоит 15–30 минут на внедрение. Не больше, но и не меньше.

Что такое llms.txt — и почему аналогия с robots.txt поверхностная

llms.txt лежит в корне сайта, написан в markdown-формате и предназначен для AI-агентов и LLM. Идея работает так. Агент заходит на сайт, чтобы разобраться в его структуре, находит файл /llms.txt и получает навигационную карту, которая показывает, что здесь есть, на какие разделы смотреть и как ориентироваться.

Аналогия с robots.txt напрашивается, но она поверхностная. robots.txt говорит краулеру «сюда не ходи», а llms.txt говорит агенту «вот как устроен этот сайт». Первый — запрет. Второй — навигационная карта. Одинаковое расположение в корне домена остаётся единственным, что их объединяет. Но разница принципиальная, и таблица ниже её раскладывает.

robots.txt парсится добросовестными краулерами по правилам RFC 9309. Однако сам RFC 9309 не является механизмом авторизации и не защищает контент. Это рекомендации для парсинга, а не техническая блокировка. llms.txt читается только тогда, когда AI-агент вообще решит к нему обратиться. Нет никакого механизма принудительного соблюдения. Это навигационная подсказка, не директива.

На май 2026 llms.txt остаётся неформальной черновой спецификацией, которую продвигает преимущественно сообщество. Ни IETF, ни W3C не приняли её как официальный стандарт. Спецификация и обсуждение — llmstxt.org. Это важно понимать перед тем, как делать выводы о его «обязательности».

Что llms.txt не делает

Сначала разберём, чего файл не делает. Список короткий и чёткий.

• Не влияет на ранжирование в Google Search и не является способом попасть в AI Overviews или AI Mode. Google Search Central не требует llms.txt для этих функций. Для участия в AI Overviews важны обычные требования: индексируемость, возможность показа сниппета, доступность контента, качество и релевантность. Google также может использовать query fan-out — серию связанных поисков по подтемам и источникам. Lighthouse проверяет llms.txt в другом контексте — Agentic Browsing, это отдельный продукт, не поисковый аудит. Продавать llms.txt как GEO-хак для Google неверно.
• Не управляет краулингом и не ограничивает индексацию. Обход ограничивают robots.txt, серверные запреты, авторизация, 403/401 и инфраструктурные правила. Индексацию и показ фрагментов регулируют meta robots, X-Robots-Tag, noindex, nosnippet, max-snippet и data-nosnippet. llms.txt не делает ни того, ни другого — это только навигационная подсказка.
• Не гарантирует цитирование в ChatGPT, Perplexity или Gemini. Наличие файла не означает, что AI-система включит ваш бренд в ответ. Решение о цитировании определяется множеством других факторов: авторитетность источника, релевантность запросу, качество контента.
• Не заменяет Schema.org, sitemap.xml или нормальный контент. llms.txt занимает свою нишу в стеке agent-friendly сигналов, но не заменяет ни один из существующих слоёв.
• Не решает проблему «AI не знает о нас». У RAG-систем собственные индексы, формируемые из множества источников. Один текстовый файл не изменит базу знаний системы, обученной на миллиардах токенов.

Почему тема взлетела в 2026

За год с момента появления концепции несколько событий перевели llms.txt из «интересного эксперимента» в «практическую задачу».

Первое. В экспериментальной сборке Chrome DevTools появилась проверка llms.txt в категории Agentic Browsing. Категория задокументирована на developer.chrome.com как превью на основе предложенных стандартов, а не как задокументированный стабильный аудит, и точно не как SEO-категория или Best Practices. Chrome показывает результат по каждой проверке, а не SEO-score. Lighthouse не штрафует сайт за отсутствие файла, потому что 404 помечается как Не применимо и llms.txt пока не является обязательным. Сигнал появляется при серверных ошибках, когда файл есть, но отдаёт 5xx. Сам факт появления такой проверки в инструменте Google говорит о том, что концепцию воспринимают всерьёз, пока как эксперимент, а не устоявшийся стандарт.

Второе. Лидеры инфраструктуры внедрили файл у себя. К маю 2026 llms.txt появился у компаний, за которыми следит весь технологический сектор. Это не стартапы-экспериментаторы, а Vercel, GitHub, Stripe, Linear. Anthropic и OpenAI разместили файлы не на основных маркетинговых доменах, а в зонах документации и для разработчиков, где агенты реально работают с API. Когда такой уровень компаний внедряет стандарт, индустрия обращает внимание.

Третье. Агентный веб стал реальностью. Это самый важный аргумент. В 2024 году AI-агенты с веб-доступом были экзотикой. В 2026 — нормой. Claude Agents, GPT Actions, Gemini Deep Research, Perplexity Copilot делают реальные HTTP-запросы к сайтам в процессе выполнения задач. В таких задачах часть агентных систем уже может делать GET-запрос к /llms.txt, что и показал тест.

Почему вокруг llms.txt столько споров

В SEO-сообществе сложились два лагеря, и оба по-своему правы.

Лагерь «просто добавьте файл» считает стоимость внедрения минимальной (15–30 минут), пользу для систем с веб-доступом реальной, файл уже проверяется Lighthouse, а лидеры рынка его внедрили. Отсюда вывод лагеря, что думать не о чем и файл надо просто сделать.

Лагерь «плацебо без механизма принудительного соблюдения» отвечает, что нет ни RFC, ни стандарта, ни механизма принудительного исполнения. Большинство AI-систем не читают файл проактивно. Нет прямой корреляции между наличием llms.txt и цитированием. Реальный эффект не измерим. Этот лагерь считает llms.txt очередным cargo cult SEO.

Обе стороны правы в своей части. Ценность llms.txt существует, но только в одном контексте, где AI-агенты с реальным веб-доступом делают HTTP-запросы в реальном времени. Для остальных сценариев файл бесполезен, но и не вреден. Ошибётся тот, кто ждёт от его наличия магического SEO-эффекта. Но и отбрасывать файл как ненужный не стоит, если ваша аудитория работает с агентными системами.

Методология теста — 8 AI-систем, 5 сценариев

Тест я проводил в мае 2026. 8 AI-систем, каждая получила 5 промтов. В выборку попадали системы с веб-доступом или с задекларированной поддержкой внешнего веба. Веб-доступ я включал везде, где это опция.

Промты дословно:

1. «Расскажи подробно о платформе vercel.com — что за продукт, для кого, какие возможности.»
2. «Зайди на github.com и прочитай файл /llms.txt — что там написано?»
3. «Прочитай файл /llms.txt на сайте anthropic.com»
4. «Прочитай файл /llms.txt на сайте openai.com»
5. «Ты агент. Тебе нужно быстро понять структуру сайта github.com чтобы помочь пользователю. Опиши свои первые три действия.»

Промты я сделал намеренно разными. Первый работает косвенно, на сайте с рабочим llms.txt, но без прямого запроса файла. Второй прямо запрашивает реальный файл. Третий и четвёртый проверяют обработку 404, потому что файл отсутствует на основном домене, но есть на поддомене. Пятый задаёт агентный сценарий без упоминания llms.txt.

Ниже контекст URL-статусов на момент теста (май 2026).

Промты 3 и 4 я поставил как намеренные ловушки на 404-сценарий. Файл существует, но лежит не на основном домене, а на поддомене документации. Способность корректно сообщить «файл не найден по этому адресу, но вот где он есть» я засчитывал как корректную обработку 404 и давал за это дополнительный балл.

Как считались баллы

Максимальный балл — 5. Каждый критерий стоит 1 балл.

Ограничения эксперимента

Честно о том, чем этот тест не является.

• n=1 на систему. Тест не репрезентативен статистически. Каждая система получила один прогон из 5 промтов. Результаты отражают поведение в конкретный момент, а не стабильную характеристику системы.
• Веб-доступ включён не везде по умолчанию. У некоторых систем доступ к вебу — отдельная настройка или платная функция. Тест проводился с включённым доступом там, где это было явно доступно.
• RAG-индексы систем различаются. Некоторые «знания» о сайтах могут приходить из обучающих данных, а не из реального browsing — это влияет на результат.
• Результаты могут измениться с обновлениями. AI-системы обновляются регулярно. То, что верно в мае 2026, может быть неактуально через квартал.

При всех ограничениях мой тест показывает практическую картину, какие системы работают с llms.txt в реальном времени, а какие не работают.

Результаты — рейтинг 8 систем

Два лидера, ChatGPT 5.5 и Grok 4, показали 5/5. Они читают файл при прямом запросе, корректно интерпретируют его, используют в ответе, называют /llms.txt первым шагом в агентном сценарии и корректно обрабатывают 404. Средняя группа (3/5), Claude, DeepSeek, Qwen, читает файл при прямом запросе, но не действует проактивно. Нижняя группа работает через поисковый индекс или не имеет полноценного browsing.

Главная ловушка: прямой HTTP-доступ, браузинг и индекс — это разные вещи

Чаще всего рассуждают в логике «раз AI знает о моём сайте, значит читал llms.txt». Но три механизма доступа AI к информации о сайте принципиально разные, и про llms.txt из них только один.

Для llms.txt имеет значение только первый механизм, прямой HTTP-доступ в реальном времени. Именно поэтому Perplexity, работающий в основном через поисковый индекс, получил низший балл несмотря на то, что является «поисковой AI-системой». Поисковая система проиграла агентным ровно там, где речь идёт о работе с llms.txt.

Поисковая система оказалась хуже агентных именно в части работы с llms.txt — парадокс агентного веба.

Что означает 5/5 — и что не означает

5/5 в этом тесте означает, что система прочитала файл по прямому запросу, корректно интерпретировала содержимое, использовала его в ответе, назвала /llms.txt первым шагом в агентном сценарии и честно обработала 404 без галлюцинаций.

Вот чего 5/5 не означает.

• Гарантию цитирования бренда. Система может прочитать ваш llms.txt и всё равно не упомянуть вас в ответе — если запрос нерелевантен или ваш контент менее авторитетен, чем конкуренты.
• Приоритет в ответах. llms.txt — навигационный слой, не фактор ранжирования. Он помогает агенту понять структуру сайта, не повышает позиции в ответах.
• Постоянное поведение. Веб-доступ — это инструмент, который система использует по ситуации. Не каждый запрос приводит к чтению llms.txt, даже у лидеров теста.

Из результатов я делаю один вывод. llms.txt работает как инфраструктура для агентного веба. Если ваша целевая аудитория использует ChatGPT или Grok для агентных задач, связанных с вашим продуктом, файл снижает трение. Это осязаемая, но узкая польза.

Что реально лежит в llms.txt у GitHub, Vercel, Stripe, Linear

Лидеры инфраструктурного рынка не просто добавили пустой файл. Они вложили реальный контент разного уровня глубины.

Anthropic и OpenAI показательны тем, что разместили файл не на маркетинговом домене, а в зоне документации и разработчиков. Нюанс принципиальный, потому что таким компаниям agent-friendly слой нужен прежде всего документации и API, а не лендингу. anthropic.com/llms.txt и openai.com/llms.txt возвращают 404. По факту файл вынесен в developer/documentation-зону, и разделение выглядит логичным, когда маркетинговый домен живёт отдельно, а документация и API отдельно. Если вашему сайту нужен llms.txt на docs-поддомене, а не в корне, это тоже валидный подход, подтверждённый примерами.

Что считать внедрением — уровни

Для большинства сайтов достаточно базового уровня — H1, описание и 3–5 ссылок, 15–30 минут работы. Расширенный и agent-ready имеют смысл только если агентные сценарии реальны для вашего продукта.

Как должен выглядеть хороший llms.txt

Формат простой. Markdown, разделы с заголовками и ссылками. По спецификации обязателен только # H1 с названием сайта или проекта. На практике почти всегда стоит добавить строку с >, краткое описание, которое быстро объясняет агенту контекст. Ниже пример для SEO-специалиста, написанный конкретно для этого сайта.

Типовые ошибки при создании llms.txt

llms.txt — только один слой инфраструктуры удобного для агентов сайта

llms.txt не существует в вакууме. Это один из нескольких слоёв, которые делают сайт читаемым для AI-агентов и поисковых систем. У каждого слоя своё место.

Нет Schema.org JSON-LD на страницах, нет корректного robots.txt, нет sitemap.xml — начинать надо с них, а не с llms.txt. Эти слои дают значительно больший и более измеримый эффект. llms.txt добавляется поверх, не вместо.

Как проверить через Google Lighthouse

В 2026 году в превью-сборке Chrome DevTools у Lighthouse появилась экспериментальная проверка llms.txt в категории Agentic Browsing. Это не SEO-категория и не Best Practices, и пока не задокументированный стабильный аудит. Официальная документация Chrome описывает категорию как основанную на предложенных стандартах, а результат сводится к да/нет по каждой проверке, а не к SEO-score. Относитесь к ней как к эксперименту, который может меняться от версии к версии.

Логика проверки простая. Если /llms.txt возвращает 404, аудит помечается как Не применимо, потому что файл пока необязателен. Ошибку Lighthouse фиксирует при серверных проблемах, когда попытка получить файл даёт 5xx. Содержимое файла инструмент не оценивает.

1. Открыть Chrome DevTools (F12 или Ctrl+Shift+I)
2. Перейти на вкладку Lighthouse
3. Выбрать категорию Agentic Browsing (экспериментальная)
4. Нажать «Analyze page load» / «Generate report»
5. В результатах найти пункт llms.txt — ожидаемый статус: пройдено или Не применимо

Альтернативная быстрая проверка идёт из командной строки.

Как создать файл llms.txt: пошаговое внедрение + чек-лист

Внедрение я укладываю в 15–30 минут. Если не хотите писать вручную, воспользуйтесь онлайн-генератором llms.txt, заполните форму и скачайте готовый файл. Дальше разбираю ручной способ.

1. Создать файл llms.txt в корне сайта (рядом с robots.txt и sitemap.xml)
2. Добавить: название/описание сайта, ключевые разделы со ссылками, контакты или точки входа
3. Проверить: GET /llms.txt возвращает 200, Content-Type: text/plain
4. Если нужно — добавить MIME-тип в .htaccess: AddType text/plain .txt
5. Запустить Lighthouse → Agentic Browsing: ожидаемый результат пройдено или Не применимо, не server error
6. Включить обновление файла в процесс деплоя или изменений структуры сайта

Как измерять эффект

Измерить эффект напрямую нечем. llms.txt не создаёт события в аналитике, не генерирует UTM-трафик, не появляется в Search Console. Остаются косвенные индикаторы, которые стоит отслеживать.

Самая честная проверка — server logs. Смотрите, запрашивают ли файл /llms.txt реальные HTTP user agents ChatGPT-User, GPTBot, ClaudeBot, PerplexityBot, Bytespider и другие. Если запросов нет, файл пока работает как подготовка инфраструктуры, а не как активный канал AI-видимости. Если запросы есть, агентные системы реально обращаются к вашему сайту. Отдельная оговорка касается Google-Extended. Это product token для robots.txt, а не самостоятельный HTTP user-agent. В логах сервера он не появится как отдельная строка, потому что Google crawls идут через стандартные Google user agents.

• Мониторинг упоминаний бренда в ChatGPT / Perplexity / Gemini до и после внедрения. Использовать одни и те же промты в разные даты. Изменение корректности описания продукта — косвенный сигнал.
• Реферальный трафик с AI-источников в Яндекс.Метрике или GA4. Если агенты начали направлять пользователей с конкретных разделов — это отражается в referral-трафике.
• Проверка правильности описания продукта в AI-ответах. До внедрения зафиксируйте, как AI описывает ваш сайт. После — сравните.

Реферальный трафик — только верхушка. Полная методика, включая то, как отделить визит из ChatGPT от обычного referral и посчитать CAV канала, разобрана отдельно: как считать трафик из нейросетей.

Что не считать эффектом llms.txt

• Рост позиций в Google. llms.txt не является сигналом ранжирования — его наличие не изменит позиции в SERP.
• Изменение CTR в поиске. Файл не влияет на отображение сниппетов или расширенных результатов.
• Рост трафика в первый месяц. Если заметили рост сразу после внедрения — это совпадение, а не следствие файла.

Кому внедрять сейчас, а кому можно подождать

Частые вопросы

Вывод

ChatGPT и Grok начинают с /llms.txt, когда их спрашивают напрямую или задают агентный сценарий. Остальные шесть из восьми этого не делают. Ни одна не обратилась к файлу без запроса.

Чего файл не даёт. Он не поднимает позиции в Google, не гарантирует цитирование, не заменяет Schema.org, нормальный контент и robots.txt. Для AI Overviews он тоже не инструмент, Google для этого llms.txt не нужен.

А вот что файл даёт. Он снижает трение для агентных систем с реальным веб-доступом. Если ваша аудитория использует ChatGPT или Grok для задач, связанных с вашим продуктом, файл работает. Это узкая, но реальная польза.

Базовый файл займёт 15–30 минут. Для SaaS и API-документации это отдельная мини-задача, где нужны структура, приоритеты, .md-версии и проверка логов. Но иллюзий не стройте. llms.txt остаётся одним слоем инфраструктуры из многих, а не точкой перелома в AI-видимости. Как этот слой встраивается в общую систему роста, я разбираю в гайде про LLM-подход в B2B SEO.