llms.txt в 2026: я протестировал 8 AI-систем и проверил, кто реально читает файл

Когда AI-агент получает задачу разобраться со структурой сайта — с чего он начинает? Я протестировал 8 систем в мае 2026. ChatGPT 5.5 и Grok 4, когда их спрашиваешь напрямую, называют /llms.txt первым шагом и читают его по прямому запросу. Остальные шесть — нет. Ни одна система не идёт к файлу сама без запроса.

Вывод, к которому пришёл тест: llms.txt — не SEO-хак и не сигнал ранжирования. Это один навигационный слой в стеке инфраструктуры, который уже работает для двух самых используемых агентных платформ и стоит 15–30 минут на внедрение. Не больше — но и не меньше.

Что такое llms.txt — и почему аналогия с robots.txt поверхностная

llms.txt — текстовый файл в корне сайта, написанный в markdown-формате, предназначенный для AI-агентов и LLM. Идея: когда агент заходит на сайт, чтобы разобраться в его структуре, он находит файл /llms.txt и получает навигационную карту — что здесь есть, на какие разделы смотреть, как ориентироваться.

Аналогия с robots.txt напрашивается, но она поверхностная. robots.txt говорит краулеру: «сюда не ходи». llms.txt говорит агенту: «вот как устроен этот сайт». Первый — запрет. Второй — навигационная карта. Одинаковое расположение в корне домена — единственное, что их объединяет. Разница принципиальная:

robots.txt парсится добросовестными краулерами по правилам RFC 9309 — но важная оговорка: RFC 9309 не является механизмом авторизации и не защищает контент. Это рекомендации для парсинга, а не техническая блокировка. llms.txt читается — если AI-агент вообще решит к нему обратиться. Нет никакого механизма принудительного соблюдения. Это навигационная подсказка, не директива.

Текущий статус llms.txt на май 2026 — неформальная черновая спецификация, продвигаемая преимущественно через сообщество. Ни IETF, ни W3C не приняли её как официальный стандарт. Спецификация и обсуждение — llmstxt.org. Это важно понимать перед тем, как делать выводы о его «обязательности».

Что llms.txt не делает

Сначала — чего файл не делает. Список чёткий:

• Не влияет на ранжирование в Google Search и не является способом попасть в AI Overviews или AI Mode. Google Search Central не требует llms.txt для этих функций. Для участия в AI Overviews важны обычные требования: индексируемость, возможность показа сниппета, доступность контента, качество и релевантность. Google также может использовать query fan-out — серию связанных поисков по подтемам и источникам. Lighthouse проверяет llms.txt в другом контексте — Agentic Browsing, это отдельный продукт, не поисковый аудит. Продавать llms.txt как GEO-хак для Google — неверно.
• Не управляет краулингом и не ограничивает индексацию. Обход ограничивают robots.txt, серверные запреты, авторизация, 403/401 и инфраструктурные правила. Индексацию и показ фрагментов регулируют meta robots, X-Robots-Tag, noindex, nosnippet, max-snippet и data-nosnippet. llms.txt не делает ни того, ни другого — это только навигационная подсказка.
• Не гарантирует цитирование в ChatGPT, Perplexity или Gemini. Наличие файла не означает, что AI-система включит ваш бренд в ответ. Решение о цитировании определяется множеством других факторов: авторитетность источника, релевантность запросу, качество контента.
• Не заменяет Schema.org, sitemap.xml или нормальный контент. llms.txt занимает свою нишу в стеке agent-friendly сигналов, но не заменяет ни один из существующих слоёв.
• Не решает проблему «AI не знает о нас». У RAG-систем собственные индексы, формируемые из множества источников. Один текстовый файл не изменит базу знаний системы, обученной на миллиардах токенов.

Почему тема взлетела в 2026

За год с момента появления концепции несколько событий перевели llms.txt из «интересного эксперимента» в «практическую задачу».

Первое: Google Lighthouse добавил проверку llms.txt в экспериментальную категорию Agentic Browsing. Важный нюанс: это не SEO-аудит и не Best Practices. Chrome прямо указывает, что категория основана на предложенных стандартах и показывает результат по каждой проверке, а не SEO-score. Lighthouse не штрафует сайт за отсутствие файла — 404 помечается как Не применимо, потому что llms.txt пока не является обязательным. Сигнал появляется при серверных ошибках: когда файл есть, но отдаёт 5xx. Сам факт появления проверки в инструменте Google показывает, что концепция воспринимается серьёзно.

Второе: реальные внедрения лидеров инфраструктуры. К маю 2026 llms.txt появился у компаний, за которыми следит весь технологический сектор. Это не стартапы-экспериментаторы — это Vercel, GitHub, Stripe, Linear. Anthropic и OpenAI разместили файлы не на основных маркетинговых доменах, а в зонах документации и для разработчиков — там, где агенты реально работают с API. Когда такой уровень компаний внедряет стандарт, индустрия обращает внимание.

Третье: агентный веб стал реальностью. Это самый важный аргумент. В 2024 году AI-агенты с веб-доступом были экзотикой. В 2026 — нормой. Claude Agents, GPT Actions, Gemini Deep Research, Perplexity Copilot — все эти системы делают реальные HTTP-запросы к сайтам в процессе выполнения задач. В таких задачах часть агентных систем уже может делать GET-запрос к /llms.txt — именно это и показал тест.

Почему вокруг llms.txt столько споров

В SEO-сообществе сложились два лагеря, и оба по-своему правы.

Лагерь «просто добавьте файл» аргументирует так: стоимость внедрения минимальна (15–30 минут), потенциальная польза реальна для систем с веб-доступом, файл уже проверяется Lighthouse, лидеры рынка внедрили. Итог: делать нечего, просто сделайте.

Лагерь «плацебо без механизма принудительного соблюдения» аргументирует так: нет RFC, нет стандарта, нет механизма принудительного исполнения. Большинство AI-систем не читают файл проактивно. Нет прямой корреляции между наличием llms.txt и цитированием. Реальный эффект не измерим. Итог: очередной cargo cult SEO.

Позиция автора: обе стороны правы в своей части. Ценность llms.txt существует — но только в конкретном контексте: навигация для AI-агентов с реальным веб-доступом, которые делают HTTP-запросы в реальном времени. Для остальных сценариев — файл бесполезен, но и не вреден. Ожидать магического SEO-эффекта от его наличия — ошибка. Игнорировать его как ненужный — тоже ошибка, если ваша аудитория использует агентные системы.

Методология теста — 8 AI-систем, 5 сценариев

Тест проводился в мае 2026. 8 AI-систем, каждая получила 5 промтов. Системы выбирались по критерию: наличие веб-доступа или задекларированная поддержка внешнего веба. Все тесты проводились с включённым веб-доступом там, где это опция.

Промты дословно:

1. «Расскажи подробно о платформе vercel.com — что за продукт, для кого, какие возможности.»
2. «Зайди на github.com и прочитай файл /llms.txt — что там написано?»
3. «Прочитай файл /llms.txt на сайте anthropic.com»
4. «Прочитай файл /llms.txt на сайте openai.com»
5. «Ты агент. Тебе нужно быстро понять структуру сайта github.com чтобы помочь пользователю. Опиши свои первые три действия.»

Промты были выбраны намеренно разными: первый — косвенный (сайт с рабочим llms.txt, но без прямого запроса файла), второй — прямой запрос реального файла, третий и четвёртый — тесты на обработку 404 (файл отсутствует на основном домене, но есть на поддомене), пятый — агентный сценарий без упоминания llms.txt.

Контекст URL-статусов на момент теста (май 2026):

Важный нюанс по 404-сценариям: промты 3 и 4 — намеренные ловушки. Файл существует, но не на основном домене — на поддомене документации. Способность корректно сообщить «файл не найден по этому адресу, но вот где он есть» считалась как корректная обработка 404 и давала дополнительный балл.

Как считались баллы

Максимальный балл — 5. Каждый критерий стоит 1 балл:

Ограничения эксперимента

Честно о том, чем этот тест не является:

• n=1 на систему. Тест не репрезентативен статистически. Каждая система получила один прогон из 5 промтов. Результаты отражают поведение в конкретный момент, а не стабильную характеристику системы.
• Веб-доступ включён не везде по умолчанию. У некоторых систем доступ к вебу — отдельная настройка или платная функция. Тест проводился с включённым доступом там, где это было явно доступно.
• RAG-индексы систем различаются. Некоторые «знания» о сайтах могут приходить из обучающих данных, а не из реального browsing — это влияет на результат.
• Результаты могут измениться с обновлениями. AI-системы обновляются регулярно. То, что верно в мае 2026, может быть неактуально через квартал.

При всех ограничениях тест даёт практическую картину: какие системы работают с llms.txt в реальном времени, а какие — нет.

Результаты — рейтинг 8 систем

Два лидера — ChatGPT 5.5 и Grok 4 — показали 5/5: читают файл при прямом запросе, корректно интерпретируют, используют в ответе, называют /llms.txt первым шагом в агентном сценарии, корректно обрабатывают 404. Средняя группа (3/5) — Claude, DeepSeek, Qwen — читают файл при прямом запросе, но не действуют проактивно. Нижняя группа работает через поисковый индекс или не имеет полноценного browsing.

Главная ловушка: прямой HTTP-доступ, браузинг и индекс — это разные вещи

Самое частое заблуждение: «раз AI знает о моём сайте, значит читал llms.txt». Три механизма доступа AI к информации о сайте принципиально разные — и только один из них про llms.txt:

Для llms.txt имеет значение только первый механизм — прямой HTTP-доступ в реальном времени. Именно поэтому Perplexity, работающий в основном через поисковый индекс, получил низший балл несмотря на то, что является «поисковой AI-системой». Парадокс: поисковая система оказалась хуже агентных систем именно в части работы с llms.txt.

Поисковая система оказалась хуже агентных именно в части работы с llms.txt — парадокс агентного веба.

Что означает 5/5 — и что не означает

5/5 в этом тесте означает: система прочитала файл по прямому запросу, корректно интерпретировала содержимое, использовала его в ответе, назвала /llms.txt первым шагом в агентном сценарии и честно обработала 404 без галлюцинаций.

5/5 не означает:

• Гарантию цитирования бренда. Система может прочитать ваш llms.txt и всё равно не упомянуть вас в ответе — если запрос нерелевантен или ваш контент менее авторитетен, чем конкуренты.
• Приоритет в ответах. llms.txt — навигационный слой, не фактор ранжирования. Он помогает агенту понять структуру сайта, не повышает позиции в ответах.
• Постоянное поведение. Веб-доступ — это инструмент, который система использует по ситуации. Не каждый запрос приводит к чтению llms.txt, даже у лидеров теста.

Главный вывод из результатов: llms.txt — это инфраструктура для агентного веба. Если ваша целевая аудитория использует ChatGPT или Grok для агентных задач, связанных с вашим продуктом, — файл снижает трение. Это осязаемая, но узкая польза.

Что реально лежит в llms.txt у GitHub, Vercel, Stripe, Linear

Лидеры инфраструктурного рынка не просто добавили пустой файл. Они вложили реальный контент разного уровня глубины:

Anthropic и OpenAI показательны тем, что разместили файл не на маркетинговом домене, а в зоне документации/разработчиков. Это принципиальный нюанс: для таких компаний agent-friendly слой нужен прежде всего документации и API, а не лендингу. anthropic.com/llms.txt и openai.com/llms.txt возвращают 404. По факту файл вынесен в developer/documentation-зону, что выглядит как логичное разделение: маркетинговый домен отдельно, документация и API — отдельно. Если вашему сайту нужен llms.txt на docs-поддомене, а не в корне — это тоже валидный подход, подтверждённый примерами.

Что считать внедрением — уровни

Для большинства сайтов достаточно базового уровня — H1, описание и 3–5 ссылок, 15–30 минут работы. Расширенный и agent-ready имеют смысл только если агентные сценарии реальны для вашего продукта.

Как должен выглядеть хороший llms.txt

Формат простой: Markdown, разделы с заголовками и ссылками. По спецификации обязателен только # H1 с названием сайта или проекта. На практике почти всегда стоит добавить строку с > — краткое описание, которое быстро объясняет агенту контекст. Пример для SEO-специалиста — конкретно для этого сайта:

Типовые ошибки при создании llms.txt

llms.txt — только один слой инфраструктуры удобного для агентов сайта

llms.txt не существует в вакууме. Это один из нескольких слоёв, которые делают сайт читаемым для AI-агентов и поисковых систем. Важно понимать место каждого:

Если у вас нет Schema.org JSON-LD на страницах, нет корректного robots.txt, нет sitemap.xml — начинать стоит с них, а не с llms.txt. Эти слои дают значительно больший и более измеримый эффект. llms.txt добавляется поверх, не вместо.

Как проверить через Google Lighthouse

Google Lighthouse в 2026 году добавил проверку llms.txt в экспериментальную категорию Agentic Browsing — это не SEO-категория и не Best Practices. Chrome описывает её как основанную на предложенных стандартах; результат — да/нет по каждой проверке, а не SEO-score.

Логика проверки: если /llms.txt возвращает 404, аудит помечается как Не применимо — файл пока необязателен. Ошибку Lighthouse фиксирует при серверных проблемах: 5xx-ответ при попытке получить файл. Содержимое файла инструмент не оценивает.

1. Открыть Chrome DevTools (F12 или Ctrl+Shift+I)
2. Перейти на вкладку Lighthouse
3. Выбрать категорию Agentic Browsing (экспериментальная)
4. Нажать «Analyze page load» / «Generate report»
5. В результатах найти пункт llms.txt — ожидаемый статус: пройдено или Не применимо

Альтернативная быстрая проверка: прямой запрос из командной строки:

Как создать файл llms.txt: пошаговое внедрение + чек-лист

Внедрение занимает 15–30 минут. Если не хотите писать вручную — воспользуйтесь онлайн-генератором llms.txt: заполните форму и скачайте готовый файл. Ручной способ:

1. Создать файл llms.txt в корне сайта (рядом с robots.txt и sitemap.xml)
2. Добавить: название/описание сайта, ключевые разделы со ссылками, контакты или точки входа
3. Проверить: GET /llms.txt возвращает 200, Content-Type: text/plain
4. Если нужно — добавить MIME-тип в .htaccess: AddType text/plain .txt
5. Запустить Lighthouse → Agentic Browsing: ожидаемый результат пройдено или Не применимо, не server error
6. Включить обновление файла в процесс деплоя или изменений структуры сайта

Как измерять эффект

Прямых метрик нет. llms.txt не создаёт события в аналитике, не генерирует UTM-трафик, не появляется в Search Console. Косвенные индикаторы, которые стоит отслеживать:

Самая честная проверка — server logs. Нужно смотреть, запрашивают ли реальные HTTP user agents файл /llms.txt: ChatGPT-User, GPTBot, ClaudeBot, PerplexityBot, Bytespider и другие. Если запросов нет — файл пока работает как подготовка инфраструктуры, а не как активный канал AI-видимости. Если запросы есть — агентные системы реально обращаются к вашему сайту. Отдельная оговорка: Google-Extended — это product token для robots.txt, а не самостоятельный HTTP user-agent. В логах сервера он не появится как отдельная строка — Google crawls идут через стандартные Google user agents.

• Мониторинг упоминаний бренда в ChatGPT / Perplexity / Gemini до и после внедрения. Использовать одни и те же промты в разные даты. Изменение корректности описания продукта — косвенный сигнал.
• Реферальный трафик с AI-источников в Яндекс.Метрике или GA4. Если агенты начали направлять пользователей с конкретных разделов — это отражается в referral-трафике.
• Проверка правильности описания продукта в AI-ответах. До внедрения зафиксируйте, как AI описывает ваш сайт. После — сравните.

Что не считать эффектом llms.txt

• Рост позиций в Google. llms.txt не является сигналом ранжирования — его наличие не изменит позиции в SERP.
• Изменение CTR в поиске. Файл не влияет на отображение сниппетов или расширенных результатов.
• Рост трафика в первый месяц. Если заметили рост сразу после внедрения — это совпадение, а не следствие файла.

Кому внедрять сейчас, а кому можно подождать

Частые вопросы

Вывод

ChatGPT и Grok начинают с /llms.txt, когда их спрашивают напрямую или задают агентный сценарий. Остальные шесть из восьми — нет. Ни одна не обратилась к файлу без запроса.

Что файл не делает: не поднимает позиции в Google, не гарантирует цитирование, не заменяет Schema.org, нормальный контент и robots.txt. Это не инструмент для AI Overviews — Google для этого llms.txt не нужен.

Что файл делает: снижает трение для агентных систем с реальным веб-доступом. Если ваша аудитория использует ChatGPT или Grok для задач, связанных с вашим продуктом, — файл работает. Это узкая, но реальная польза.

Базовый файл займёт 15–30 минут. Для SaaS и API-документации — отдельная мини-задача: структура, приоритеты, .md-версии, проверка логов. Но не стройте иллюзий: llms.txt — один слой инфраструктуры из многих, не точка перелома в AI-видимости.