Карты сайта нет
А ещё она может лежать по нестандартному адресу. Проверьте, объявлена ли она в robots.txt, и укажите разделы руками.
Бесплатный инструмент
Вставьте адрес сайта, и файл создастся автоматически. Кроулинг sitemap, сбор мета-данных, готовый Markdown.
Проверка одного сайта
Вставьте адрес сайта, и сервис обойдёт sitemap, соберёт заголовки и описания страниц и отдаст готовый файл. Обычно меньше минуты.
Бесплатно. Без регистрации. До 5 запросов за 5 минут.
Файл создан автоматически, и это черновик. Проверьте описания и добавьте недостающие разделы перед размещением.
Разместить в корне сайта: example.com/llms.txt. Размер до 50 КБ, кодировка UTF-8.
Заполните форму самостоятельно, для случаев когда автоматический кроулинг недоступен.
Как работает
Читаются только открытые данные, и ничего не запрашивает у вас, кроме адреса. Порядок работы такой.
Проверяет три стандартных адреса, начиная с /sitemap.xml. Если попадается индекс карт, берёт первую дочернюю.
Отсекает служебные адреса и файлы, оставляя только содержательные страницы.
Заголовок берёт из og:title, при пустом значении из <title>, затем из первого h1. Описание берёт из og:description, затем из meta description.
И тип страницы виден по её пути. Блог, услуги, кейсы, документация, контакты и FAQ распознаются автоматически, остальное группируется по первому сегменту адреса.
Заголовок, описание сайта и список ссылок с подписями, сгруппированный по разделам.
Лимиты движка7 секунд на запрос512 КБ со страницы5 генераций за 5 минутлокальные адреса заблокированы
Ограничения
Четыре случая, в которых кроулинг вернёт пустой или неполный результат. В каждом из них выручает ручной режим выше.
А ещё она может лежать по нестандартному адресу. Проверьте, объявлена ли она в robots.txt, и укажите разделы руками.
Сайт отдаёт нашему краулеру 403 вместо страницы. Автоматический обход в этом случае невозможен.
Разбирается первичный HTML, поэтому получит пустые подписи вместо заголовков и описаний.
Двенадцать страниц с мета-данными для такого сайта бесполезны, разделы придётся отобрать вручную.
Готовый файл перечитайте. Автоматика выбирает первые страницы из карты, а не самые важные для вашего бизнеса, и подписи из мета-тегов часто написаны под поиск, а не под чтение моделью.
Справка
example.com/llms.txt — рядом с robots.txt и sitemap.xml.text/plain; charset=utf-8. UTF-8 без BOM.Хотите понять, какие AI-системы реально читают llms.txt?
Читать: тест 8 AI-систем с результатамиFAQ
Файл в Markdown лежит в корне сайта и перечисляет страницы, которые вы считаете главными, от документации и услуг до кейсов и контактов. Языковая модель, которая зашла на сайт, читает этот список вместо того, чтобы угадывать структуру по навигации и внутренним ссылкам. Стандарт предложил Джереми Ховард (Answer.AI) в сентябре 2024 года; его уже опубликовали GitHub, Vercel, Stripe и Anthropic.
Robots.txt закрывает и открывает доступ краулерам — это правила обхода. Llms.txt доступом не управляет вообще, он лишь подсказывает модели, с каких страниц начинать чтение. Файлы решают разные задачи и живут рядом, в корне домена.
В мае 2026 я прогнал 8 AI-систем на одном наборе сайтов и замерил, доходят ли они до файла. ChatGPT 5.5 и Grok 4 забрали его полностью — 5 из 5. Perplexity набрала 1.5 из 5, чаще идёт по sitemap и живым страницам. Честный вывод такой. Позиции в поиске файл не двигает. Его польза — навигация для агентов. Методология и результаты по каждой системе — в разборе теста.
Заполните ручной режим прямо здесь. Двадцать осмысленно подобранных ссылок работают лучше автоматической выгрузки, потому что вы сами решаете, какие страницы модель увидит первыми. Карту сайта после этого всё равно стоит сделать, но уже для поисковых роботов, а не для llms.txt.
Столько, сколько человек прочитает за минуту. Обычно это от 10 до 40 ссылок. Файл отвечает на вопрос, с чего начать чтение сайта, и полная выгрузка каталога эту задачу ломает. Лимит по стандарту другой, 50 КБ, но упереться в него означает, что вы перечислили лишнее.
Llms.txt содержит ссылки с короткими подписями, llms-full.txt — сам текст страниц целиком в Markdown. Первый файл нужен для навигации, второй для того, чтобы модель прочитала содержимое без обхода сайта. Начинайте с llms.txt, он проще в поддержке и не расходится с сайтом при каждой правке.