Индексация сайта в Google и Яндексе: как проверить, найти причину и ускорить

Страница не попадает в поиск одним действием. Поисковик должен узнать адрес, скачать страницу, решить, брать ли её в индекс, и только потом показать по запросу. Если страницы нет в выдаче, сломалось одно из этих звеньев, и у каждого свои признаки и своё лечение.

В этом гайде — как проверить индексацию, по каким причинам страницы уходят из поиска и что делать с каждой. Причины разобраны на 24 реальных сайтах разных типов: B2B-каталоги и интернет-магазины на сотни тысяч страниц, спортивное СМИ на миллион, банк, билетный оператор, клиники, агентства и сайты услуг. Названия сайтов не раскрываю, цифры — из их Вебмастеров за июль–октябрь 2026 года. Отдельно — что пишут сами Яндекс и Google и какие популярные советы их документация не подтверждает.

Что такое индексация сайта простыми словами

Индексация — это добавление страницы в базу поисковой системы, из которой собирается выдача. Пока страницы нет в индексе, по запросам её не покажут, как бы хорошо она ни была написана.

Google описывает путь страницы тремя стадиями (how-search-works):

1. 01
   Обнаружение и сканирование

   Робот находит адрес, скачивает страницу и выполняет JavaScript.

2. 02
   Индексация

   Google разбирает содержимое и выбирает из похожих страниц одну каноническую — её он и будет показывать.

3. 03
   Показ в выдаче

   Страница участвует в ранжировании по запросам.

На любой из них страница может остановиться, и Google честно об этом предупреждает: он не обещает, что просканирует, проиндексирует или покажет даже хорошо сделанную страницу. У Яндекса этапы те же.

Жизненный цикл URL: шесть звеньев

Удобнее думать о цепочке, а не о двух состояниях «в индексе / не в индексе». На каждом звене поисковик решает отдельно: робот может знать адрес и не приходить за ним неделями, скачать страницу и не взять её в индекс, взять в индекс другой адрес с тем же содержимым.

Сам факт «страницы нет в поиске» сообщает только итог: цепочка где-то оборвалась. Где именно — придётся искать.

Как проверить индексацию: что показывает каждый способ

С чем вы начинаете

Что можно проверить, зависит от доступа. Даже без кабинетов и логов видно многое:

Способы проверки

Каждый способ видит только часть цепочки. В таблице — какую часть и чего он не покажет.

site:домен в поиске

Выборку страниц, которые поисковик знает

ОграничениеТочного числа не даёт: Google прямо пишет, что это пример, а не полный список (справка GSC)

url:адрес в Яндексе, точный заголовок с site:

Находится ли конкретная страница в выдаче

ОграничениеПроверяет выдачу, а не базу индекса. Если страница не нашлась, скорее всего, её нет в индексе, но наверняка этого не скажешь

Вебмастер → «Индексирование» → «Проверка страницы»

Код ответа роботу, что робот видит на странице, статус в поиске (справка)

ОграничениеОдна страница за раз

Вебмастер → «Страницы в поиске»

Страницы в поиске, исключённые и причины исключения, изменения за три месяца; в списках — до 50 000 адресов

ОграничениеДанные запаздывают; после сбоев могут остановиться

Вебмастер → «Статистика обхода», GSC → «Статистика сканирования»

Какие страницы и когда обходил робот, с каким ответом

ОграничениеСводки и выборки: каждый отдельный заход там не виден

Search Console → «Проверка URL», «Индексирование страниц»

Статус каждого URL, дату последнего сканирования, выбранный canonical

ОграничениеЧисло проверок в день ограничено; сколько именно, справка не говорит

Логи сервера

Каждый запрос робота: когда и с каким ответом

ОграничениеРешения об индексации в логах нет. И бота надо проверять: User-Agent легко подделать

Если логи доступны, звено «обход» проверяйте по ним: был ли робот, с каким ответом. Потом — что решил поисковик и что видит пользователь. Без логов звено «обход» видно в «Статистике обхода» и в «Проверке страницы».

Статусы Google: «Обнаружена» и «Просканирована, но не проиндексирована»

Два статуса Search Console, которые часто путают.

Остальные статусы отчёта Google, причины исключения Яндекса и проверка роботов в логах собраны в справочнике в конце статьи.

Не каждый адрес сайта должен попасть в индекс — Google пишет об этом прямо. Страницы, закрытые в robots.txt или через noindex, и дубли чаще всего исключены правильно.

Исключённые страницы в Яндексе

В Вебмастере у каждой исключённой страницы есть причина (справка), полный список — в справочнике. Длинный список исключённых сайту не вредит. Вот как это формулирует сам Яндекс:

Наличие и количество исключенных страниц в Яндекс Вебмастере не влияет на положение сайта в результатах поиска

Справка Яндекс Вебмастера, «Страницы в поиске»

Смотрите, какие страницы попали в список и по какой причине: их число само по себе мало что говорит. Как это выглядит на реальных сайтах — в разделе о причинах ниже.

Сколько ждать индексации: справки и реальные сроки

Для масштаба — пример небольшого блога, моего sk-seo.ru: 56 страниц в поиске Яндекса, индекс качества сайта (ИКС) — 10.

С июля по начало октября Яндекс добавлял статьи довольно ровно: 11 из 18 — за 4–6 дней, разброс от 1 до 28. В октябре поток остановился, как и у большинства сайтов: о сбое Яндекса — в разделе ниже.

Порядок проверки: от симптома к причине

Порядок проверки одинаков для любой проблемы. Каждый шаг либо находит причину, либо вычёркивает одну из версий:

1. 01
   Сузить задачу

   Одна страница, раздел или весь сайт? Новые страницы не попадают или старые выпадают? От этого зависит, смотреть на адрес или на шаблон.

2. 02
   Проверить, не сбой ли поисковика

   Похожая картина у других сайтов, записи в блоге Вебмастера или на странице статуса поиска Google. Если сбой подтвердился — остановиться и ждать: правки сайта не помогут. Но и без записи сбой возможен.

3. 03
   Проверить ответ роботу

   Код 200, нет случайного редиректа, нет noindex и X-Robots-Tag, нет запрета в robots.txt — под User-Agent бота. Если нашлась ошибка, исправить её и перейти к шагу 7.

4. 04
   Найти звено

   По кабинетам: поисковик не знает адрес, знает и не обходит, обошёл и не взял или взял другой адрес. Что смотреть для каждого случая — в карте симптомов ниже.

5. 05
   Найти класс страниц

   Сгруппировать исключённые адреса по шаблону и причине. Если причина касается всего шаблона, править нужно шаблон.

6. 06
   Исправить по причине

   Что делать с каждой причиной — в разделе о причинах. Вносите одно изменение за раз и записывайте дату: иначе потом не понять, что сработало.

7. 07
   Проверить результат

   Робот пришёл (логи, статистика обхода), статус в кабинете сменился. Ждать до двух недель после того, как робот узнал об изменении, — это срок из справки Яндекса. Не изменилось за этот срок — вернуться к шагу 4.

Команды для шага 3:

UA='Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)'
curl -sI -A "$UA" https://sk-seo.ru/blog/krauling-byudzhet-google-yandeks.html | grep -iE '^HTTP|^location|^x-robots-tag'

HTTP/1.1 200 OK

curl -s -A "$UA" https://sk-seo.ru/blog/krauling-byudzhet-google-yandeks.html \
  | grep -oiE '<meta[^>]+name="robots"[^>]*>|<link[^>]+rel="canonical"[^>]*>'

<meta name="robots" content="index, follow">
<link rel="canonical" href="https://sk-seo.ru/blog/krauling-byudzhet-google-yandeks.html">

$UA = 'Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)'
$URL = 'https://sk-seo.ru/blog/krauling-byudzhet-google-yandeks.html'
curl.exe -sI -A $UA $URL | Select-String '^(HTTP|location|x-robots-tag)'
curl.exe -s -A $UA $URL | Select-String '<meta[^>]+name="robots"[^>]*>|<link[^>]+rel="canonical"[^>]*>' -AllMatches | ForEach-Object { $_.Matches.Value }

Ориентиры для решений

Готовых порогов поисковики не дают: после скольких исключений или какого падения индекса пора искать причину, в справках не сказано. Ниже — ориентиры из справок и мои, у каждого подписан источник:

Карта симптомов

Куда смотреть на шаге 4 — по тому, что вы видите:

1. 01
   Поисковик не знает адресзвено: обнаружение

   Проверитьесть ли адрес в sitemap, ведут ли на страницу внутренние ссылки, заходит ли робот на страницы, где эти ссылки стоят

   Делатьпоставить ссылку со страниц, которые робот посещает часто, и добавить адрес в sitemap

2. 02
   Знает, но не обходитзвено: обход

   Проверитькоды ответа, скорость сервера, сколько лишних адресов генерирует сайт

   Делатьубрать лишние адреса, на которые уходит обход (см. массовую индексацию), проверить скорость и ошибки сервера

3. 03
   Обошёл, но не взялзвено: решение

   Проверитьпричину исключения в кабинете: дубль, canonical, содержимое, мягкий 404 (заглушка с кодом 200)

   Делатьчто делать с каждой причиной — в разделе о причинах

4. 04
   В индексе другой адресзвено: решение

   Проверитьcanonical, редиректы, параметры в адресе

   Делатьпривести canonical, редиректы, sitemap и внутренние ссылки к одному адресу

5. 05
   В индексе, но нет показовзвено: в поиске

   Проверитьспрос, релевантность, конкуренты

   Делатьразбираться с ранжированием: индексация в порядке

6. 06
   Индекс резко сократилсявесь сайт

   Проверитьрелизы, шаблоны, ответы 5xx, доступность хоста, сообщения поисковика

   Делатьсопоставить даты падения и изменений на сайте, посмотреть на соседние сайты

Когда виноват не сайт: сбои поисковика и ошибки данных

Иногда страницы не попадают в поиск, и сайт тут ни при чём. Самый свежий пример — октябрь 2026 года (блог Вебмастера, Habr):

1. 07.10.2026История в Вебмастере остановилась

   У всех 24 сайтов график «страниц в поиске» обрывается на этой дате.

2. 11.10.2026Вебмастер недоступен

   Яндекс сообщает, что сервис временно недоступен; о повреждении дата-центров пишут СМИ.

3. 16.10.2026Медленный обход

   «Возможны задержки в обновлении данных из‑за медленного обхода страниц роботом»; раздел «Переобход страниц» работает только на просмотр.

4. 29.10.2026Частичное восстановление

   Вернулись API и часть инструментов Вебмастера.

Как это выглядело на 24 сайтах — по событиям «страница появилась в поиске»:

Если у вас один сайт

Не у всех есть 23 соседних сайта для сравнения. Тогда остаются официальные сообщения поисковиков и история вашего сайта:

Второй вариант «виноват не сайт» — ошибка в собственных данных:

Почему страницы уходят из поиска: причины на 24 сайтах

Я выгрузил события исключения из поиска Яндекса за три месяца по 24 сайтам и посмотрел, какие причины встречаются и какие страницы под них попадают. Разброс по масштабу большой — от нескольких страниц в поиске до 1,2 млн, — но набор причин повторяется.

Ниже — каждая причина: что она значит, как выглядит на реальных сайтах и что с ней делать.

Малоценная или маловостребованная: 15 сайтов из 24

Яндекс формулирует так: «Алгоритм может не включать страницу в поиск, если у нее мало шансов оказаться востребованной пользователями» (справка). Это решение по отдельным адресам, а не штраф всему сайту. Но на практике под него почти всегда попадают целые классы страниц.

На других сайтах — то же самое:

По доле этого статуса среди всех исключений сайты делятся на две группы.

Как найти класс страниц

По одному адресу класс не увидеть. Порядок такой:

1. 01
   Выгрузить исключённые адреса

   Вебмастер → «Страницы в поиске» → исключённые, с причиной; Search Console → «Индексирование страниц» → примеры по каждой причине.

2. 02
   Свести адрес к шаблону

   Отбросить конкретные значения: цифры заменить на N, идентификаторы и текстовые части адреса вроде названия бренда — на «…», оставить первые один–два уровня пути и названия параметров. /brand/arlight/?page=5 и /brand/escada/?page=12 превращаются в /brand/…/?page.

3. 03
   Посчитать по шаблонам

   Сколько адресов каждого шаблона ушло по каждой причине и какая это доля от всех исключений сайта.

4. 04
   Сверить с тем, что на сайте

   Какой это тип страниц и нужен ли он в поиске вообще: архив, фильтр, карточка, служебный список.

Пустая или малоценная страница

Что делать. Сначала проверьте техничку: что видит бот, нет ли мягкого 404, не отдаётся ли роботу облегчённая версия страницы. Потом решите судьбу класса страниц целиком.

Два публичных разбора, где причина нашлась в техничке:

Неканоническая страница и дубль: по 12 сайтов

Если похожие страницы доступны по нескольким адресам, поисковик выберет один. Для Google rel="canonical" и редирект — сильные сигналы, sitemap — слабый (Google). После исправления дублей Google может ещё до двух недель держать страницу в прежней группе копий (Google). Яндекс «воспринимает указание на канонический адрес как рекомендацию и может проигнорировать его» (справка).

На реальных сайтах дубли почти всегда появляются из-за параметров в адресе. Самый наглядный случай:

И ещё три:

Отдельная ловушка — пагинация:

Ошибка ответа: 404, 5xx и недоступный хост

Ошибки ответа встречаются на 13 сайтах из 24.

Недоступный хост — самый тяжёлый случай. Так он выглядел у автодилера:

1. до 22.09.2026Около 144 страниц в поиске

   Сайт автодилера стабильно в индексе Яндекса.

2. 23–30.09.2026Ошибка хоста

   Робот не может подключиться к сайту; страницы одна за другой уходят из поиска с этой причиной.

3. конец октября0 страниц в поиске

   В Вебмастере — «фатальная проблема»: сайт недоступен роботу.

Редирект: 8 сайтов

Страница с редиректом уходит из поиска, и это нормально, если редирект ведёт на рабочую страницу, открытую для индексации. У digital-агентства 54 адреса портфолио и кейсов ушли с причиной «редирект». У банка под редирект ушли 105 файлов из папки загрузок.

Как не потерять страницы при смене адресов — в гайде по миграции.

Запрет: noindex и robots.txt

Запрет индексации нашёлся на 6 сайтах (noindex) и на 2 (robots.txt). Чаще всего его ставят сознательно: личный кабинет, прошедшие события, тестовые страницы. Но проверьте, не закрыли ли заодно нужные страницы.

С запретом в robots.txt поисковики ведут себя по-разному (справка Яндекса):

Робот не видит содержимое: JavaScript

Если основное содержимое собирается скриптом, робот может увидеть пустую страницу, и она уйдёт в «малоценные» или не попадёт в индекс вовсе. Google рендерит JS при сканировании, но с оговорками (журнал изменений документации, декабрь 2025):

1. 01
   Ответ не 200

   Такая страница может вообще не попасть на рендеринг.

2. 02
   noindex в исходном HTML

   Скрипт его уже не снимет: Google может пропустить рендеринг. На странице, которая должна попасть в индекс, noindex в исходный HTML не ставят.

3. 03
   canonical

   Лучше задать в HTML; если скрипт его ставит или переписывает, итоговое значение должно совпадать с HTML.

4. 04
   Лимит 2 МБ

   Googlebot обрабатывает первые 2 МБ HTML (Google, уточнение от 3.02.2026).

Как проверить, что робот видит содержимое

1. 01
   Исходный HTML

   Скачать страницу без выполнения скриптов (curl под User-Agent бота) и найти в ответе основной текст, заголовок, ссылки, canonical и robots.

2. 02
   Отрендеренная версия

   Открыть «Проверку URL» в Search Console и посмотреть отрендеренный HTML, или открыть страницу в браузере с инструментами разработчика и сохранить итоговый DOM.

3. 03
   Сравнить

   Править нужно, если текст, ссылки или canonical появляются только после рендеринга или если canonical в исходнике и после рендеринга разный.

4. 04
   Яндекс

   В Вебмастере есть настройка «Индексирование → Рендеринг страниц JavaScript» (бета): по умолчанию робот сам решает, выполнять ли скрипты (справка).

Подробнее — в статье о JavaScript SEO.

Что чинить первым и как записать результат

Если проблем несколько, порядок важнее скорости. Я иду так — от того, что блокирует всё, к тому, что лишь ускоряет:

1. 01
   Сайт недоступен роботу

   Ошибка хоста, массовые 5xx, ответ ботам отличается от ответа браузеру. Это блокирует всё остальное.

2. 02
   Важные страницы закрыты по ошибке

   noindex, Disallow, canonical на чужой адрес у страниц, которые должны приносить трафик.

3. 03
   Шаблон плодит лишние адреса

   Параметры, фильтры, календари, архивы, мягкие 404 — они забирают обход у нужных страниц.

4. 04
   Нужные страницы пустые

   Доработать шаблон карточки или раздела.

5. 05
   Ускорение обнаружения

   Ссылки, sitemap, IndexNow, переобход — когда остальное в порядке.

Как ускорить индексацию: что работает и в каких пределах

Ускорить можно обнаружение и обход. Решение, брать ли страницу в индекс, поисковик всё равно принимает сам, поэтому каждый способ ниже работает на своё звено — и только на него.

Ссылки со страниц, которые робот посещает частозвено: обнаружение

Чего не делаетне заставит взять страницу в индекс

Основаниесправки: ссылки помогают обнаружению; частоту посещения страниц видно в логах

Sitemap с достоверным lastmodзвено: обнаружение

Чего не делаетне ускоряет решение об индексации

Основаниесправки

Переобход в Вебмастере, запрос в «Проверке URL»звено: обход

Чего не делаетиндексацию не обещает; повторная заявка не ускоряет

Основаниесправки

IndexNowзвено: обнаружение (Яндекс, Bing)

Чего не делаетс Google не работает; обход — ещё не индексация

Основаниесправка Яндекса; замер 2021 года

Indexing APIзвено: обход

Чего не делаетне работает с обычными страницами: только вакансии и трансляции

Основаниедокументация Google

Быстрый и стабильный серверзвено: обход

Чего не делаетсам по себе не добавляет страниц в индекс

Основаниесправка Google

Проверка sitemap

Страницы-сироты

Сирота — страница, на которую не ведёт ни одна внутренняя ссылка. Найти такие можно без логов:

1. 01
   Список нужных страниц

   Из sitemap или выгрузки базы сайта.

2. 02
   Список страниц, на которые есть ссылки

   Обойти сайт краулером от главной: всё, до чего он дошёл по внутренним ссылкам.

3. 03
   Разница — сироты

   Страницы из первого списка, которых нет во втором, внутренними ссылками не связаны: робот найдёт их только через sitemap или внешние ссылки. Им нужны ссылки из разделов и с родственных страниц.

Мониторинг после публикации: процесс на две недели

1. день 0Опубликовать и связать

   Адрес в sitemap и ссылка со страницы, которую робот посещает часто. Для Яндекса и Bing — IndexNow: сообщает об адресе, индексацию не ускоряет.

2. дни 1–3Был ли робот

   Логи: подтверждённый робот на странице и на странице со ссылкой.

3. дни 3–7Что решил поисковик

   «Проверка URL» в Search Console, «Проверка страницы» и url: в Яндексе.

4. день 14Искать причину

   Страницы всё ещё нет — смотрите причину исключения в кабинете и раздел о причинах выше. Если новые страницы не появляются у многих сайтов, проверьте сообщения поисковика.

Массовая индексация: сотни тысяч и миллионы URL

На большом сайте страницы почти никогда не выпадают по одной: проблема живёт в шаблоне или правиле, которое генерирует адреса. Это видно и на сайтах выше: архив заказов, календарь афиши, параметр согласия на cookies.

Каждый лишний адрес — это запрос робота, который не достался нужной странице. Как это выглядит в масштабе, видно на греческом маркетплейсе Skroutz (разбор команды, 2019):

Как работать с таким сайтом:

1. 01
   Смотреть группами

   Разбить адреса на группы по шаблону и смотреть логи и причины исключения по группам.

2. 02
   Sitemap по типам

   Держать в нём только канонические адреса с честным lastmod.

3. 03
   Решить по классу

   noindex, склейка через canonical или редирект, удаление с ответом 404 или 410 — инструменты в таблице ниже.

4. 04
   Сравнить до и после

   Какая доля обхода уходит на нужные страницы до правки и после неё.

Подробно, с логами двух проектов — в статье о краулинговом бюджете.

Как закрыть страницы от индексации и не закрыть лишнее

<meta name="robots" content="noindex">убирает страницу из индекса

Googleда

Яндексда

X-Robots-Tag: noindexто же, для PDF и других файлов

Googleда

Яндексда

Disallow в robots.txtзапрещает скачивать

Googleне убирает из индекса

Яндексудаляет из базы в течение недели, но по внешним ссылкам страница может появляться

rel="canonical"указывает главный адрес

Googleсильный сигнал

Яндексрекомендация

Clean-paramсклеивает адреса с параметрами

Googleне поддерживает

Яндексда

301-редиректпереносит адрес

Googleсильный сигнал

Яндексда, и задаёт главное зеркало

Три типовые ошибки:

Мифы об индексации: что пишут статьи и что пишут поисковики

Я разобрал статьи из топ-10 Яндекса по пяти запросам об индексации и сверил повторяющиеся советы с документацией Google и Яндекса. Часть мифов уже встречалась выше — здесь они собраны вместе, со ссылками на источники. Три мифа — про Indexing API, Disallow и вред исключённых страниц — разобраны в тексте, в таблицу я их не включал.

Говорятsite: показывает, сколько страниц в индексе

ФактНет. Это выборка, точного числа оператор не даёт

Источниксправка GSC

ГоворятОператор cache: показывает, что хранит Google

ФактGoogle убрал документацию оператора 24.09.2024: он больше не работает

Источникжурнал Search Central

ГоворятIndexNow ускоряет и Google

ФактGoogle нет в списке участников протокола. IndexNow работает с Яндексом, Bing, Seznam, Naver и другими

Источникindexnow.org

Говорятnoindex можно прописать в robots.txt

ФактGoogle не поддерживает это с 1 сентября 2019 года

Источникблог Google, 2019

Говорятchangefreq и priority в sitemap ускоряют обход

ФактGoogle их игнорирует, учитывает только достоверный lastmod

Источникблог Google, 2023

ГоворятДиректива Host выбирает главное зеркало

ФактЯндекс отказался от неё в марте 2018 года, зеркало задаётся 301-редиректом

Источникблог Вебмастера, 2018

ГоворятПараметры URL настраиваются в Search Console

ФактИнструмент закрыт в 2022 году. В Яндексе для этого есть Clean-param и «Настройка GET-параметров»

Источникблог Google, 28.03.2022; блог Вебмастера

ГоворятЗапрос на переобход гарантирует индексацию

ФактНи в Google, ни в Яндексе. Яндекс: «Статус не означает, что робот проиндексировал страницу»

ИсточникGSC; Яндекс

ГоворятУ поисковика есть квота на число страниц сайта в индексе

Факт«У Яндекса нет квот на количество страниц, попадающих в индекс»

Источниксправка

ГоворятБез уникальности 85–90% страницу не возьмут

ФактТакого порога нет ни в одной справке

ГоворятКраулинговый бюджет — забота только крупных сайтов

ФактОтчасти верно. Google советует думать о нём сайтам от миллиона страниц, которые обновляются раз в неделю, и сайтам от 10 000 страниц, которые обновляются каждый день. Сам Google называет эти цифры грубыми

ИсточникGoogle, crawl budget

ГоворятНовый сайт попадает в Яндекс за одну-две недели

ФактВ справке это ориентир, не обещание: «в течение двух недель» после обхода

Источниксправка

Справочник: статусы кабинетов и роботы в логах

Этот раздел не нужно читать подряд: здесь полные списки статусов и проверка роботов, к ним отсылают разделы выше.

Как проверить, что в логах настоящий робот

Строку User-Agent подставляет любой скрипт. За 11 дней в логах моего блога нашлось пять запросов «YandexBot» и три запроса «Googlebot», которые к Яндексу и Google отношения не имели. Один из поддельных «Googlebot» открыл свежую статью — без проверки его легко принять за настоящий обход.

Проверка в три шага, её описывают Яндекс и Google:

1. 01
   Обратная запись DNS

   По IP запросить имя хоста (PTR).

2. 02
   Домен поисковика

   Имя должно оканчиваться на yandex.ru, yandex.net или yandex.com у Яндекса, на googlebot.com или google.com у поискового Googlebot. В общей инструкции Google упомянут и googleusercontent.com, но это адреса пользовательских сервисов и арендованных серверов Google Cloud. За Googlebot такой адрес не считайте.

3. 03
   Прямая проверка

   Разрешить это имя обратно в IP и сравнить с исходным адресом.

import ipaddress
import socket

DOMAINS = {
    "YandexBot": (".yandex.ru", ".yandex.net", ".yandex.com"),
    "Googlebot": (".googlebot.com", ".google.com"),
}


def is_real_bot(ip: str, bot: str) -> bool:
    """IP -> имя по PTR -> домен поисковика -> имя обратно в IP -> совпадение."""
    try:
        host = socket.gethostbyaddr(ip)[0]
    except OSError:
        return False                       # нет PTR-записи
    if not host.endswith(DOMAINS[bot]):
        return False                       # имя не принадлежит поисковику
    family = socket.AF_INET6 if ":" in ip else socket.AF_INET
    try:
        addrs = {a[4][0] for a in socket.getaddrinfo(host, None, family)}
    except OSError:
        return False
    want = ipaddress.ip_address(ip)
    return any(ipaddress.ip_address(a) == want for a in addrs)


if __name__ == "__main__":
    for ip, bot in [("87.250.224.100", "YandexBot"),
                    ("109.172.81.21", "YandexBot"),
                    ("66.249.79.1", "Googlebot"),
                    ("35.201.207.30", "Googlebot")]:
        print(f"{ip:<16} {bot:<10} {'настоящий' if is_real_bot(ip, bot) else 'подделка'}")

87.250.224.100   YandexBot  настоящий
109.172.81.21    YandexBot  подделка
66.249.79.1      Googlebot  настоящий
35.201.207.30    Googlebot  подделка

Каких роботов искать в логах

У Яндекса и Google десятки роботов, и не все они обходят страницы для поиска. Для индексации важны эти:

YandexBot/3.0

Основной индексирующий робот Яндекса. В логах может идти с припиской версии браузера, которой он рендерит страницу, — поэтому ищите его без номера версии.

YandexMobileBot/3.0

Определяет страницы с вёрсткой под мобильные устройства.

YandexRenderResourcesBot/1.0

Загружает ресурсы для рендеринга страниц с JavaScript. Запреты robots.txt для ресурсов игнорирует, если сама HTML-страница открыта роботу.

YandexAdditional, YandexAdditionalBot

Токены для robots.txt: запрет ограничивает показ контента сайта в быстрых ответах YandexGPT и ответах Алисы AI. Страницы для индексирования они не запрашивают, в поиске страницы остаются.

Googlebot Smartphone и Googlebot Desktop

Основные роботы Google Поиска. В строке User-Agent у обоих есть Googlebot/2.1.

Googlebot-Image, Google-InspectionTool, GoogleOther

Картинки, ручная проверка в Search Console и прочие продукты Google. Страницы для поиска они не обходят, поэтому в подсчёт заходов поискового робота их не включайте.

Роботы Яндекса работают из автономных систем AS13238, AS208722 и AS212066, а IP-адреса меняются, поэтому полного списка нет — только проверка по DNS (справка Яндекса, список роботов Google).

Разбор лога по группам URL

import re
import sys
from collections import defaultdict

from verify_bot import is_real_bot

LINE = re.compile(r'(\S+) \S+ \S+ \[([^\]]+)\] "\S+ (\S+) [^"]*" (\d{3}) \S+ "[^"]*" "([^"]*)"')
GROUPS = [("главная", r"^/$"), ("блог: список", r"^/blog\.html$"), ("блог: статьи", r"^/blog/"),
          ("инструменты", r"^/tools/"), ("служебное", r"^/robots\.txt$|^/sitemap")]


def group_of(path):
    path = path.split("?")[0]
    return next((name for name, rx in GROUPS if re.search(rx, path)), "прочее")


stats = defaultdict(lambda: {"запросов": 0, "первый": None})
fake = 0
checked = {}
for line in open(sys.argv[1], encoding="utf-8", errors="ignore"):
    m = LINE.match(line)
    if not m:
        continue
    ip, ts, path, code, ua = m.groups()
    bot = "YandexBot" if "YandexBot/" in ua else "Googlebot" if "Googlebot/2.1" in ua else None
    if not bot:
        continue
    if (ip, bot) not in checked:
        checked[(ip, bot)] = is_real_bot(ip, bot)
    if not checked[(ip, bot)]:
        fake += 1
        continue
    s = stats[(bot, group_of(path))]
    s["запросов"] += 1
    s["первый"] = s["первый"] or ts[:17]

print(f"{'робот':<10} {'группа':<14} {'запросов':>8}  первый запрос")
for (bot, grp), s in sorted(stats.items()):
    print(f"{bot:<10} {grp:<14} {s['запросов']:>8}  {s['первый']}")
print(f"отброшено поддельных: {fake}")

робот      группа         запросов  первый запрос
Googlebot  блог: список          1  20/Oct/2026:02:45
Googlebot  блог: статьи          3  20/Oct/2026:11:42
YandexBot  главная               1  20/Oct/2026:05:45
YandexBot  инструменты           2  20/Oct/2026:05:24
YandexBot  служебное             1  20/Oct/2026:05:24
отброшено поддельных: 2

Причины в отчёте «Индексирование страниц» Google

Здесь основные причины, кроме двух статусов из раздела о проверке. Названия — по русской справке Search Console:

Ошибка сервера (5xx)

Сервер ответил ошибкой 500-го класса или не успел ответить.

Что делатьПроверить сервер. Ошибки бывают кратковременными, и проверка в реальном времени не всегда их воспроизводит.

Ошибка переадресации

Цепочка слишком длинная или зациклена, либо в ней есть слишком длинный, некорректный или пустой адрес.

Что делатьСвести редирект к одному шагу на рабочую страницу.

Доступ к URL заблокирован в файле robots.txt

Робот не скачивает страницу; в индекс она всё равно может попасть по ссылкам.

Что делатьЕсли страница нужна — снять запрет. Если не нужна — тоже снять запрет и поставить noindex, иначе робот его не увидит.

Страница содержит директиву noindex

Робот увидел noindex и не взял страницу.

Что делатьЕсли страница нужна — убрать тег или заголовок.

Ложная ошибка 404

Страница отвечает 200, но выглядит как «не найдено», пустая или с сообщением об ошибке — это и есть мягкий 404.

Что делатьДля несуществующей страницы отдавать 404; рабочую страницу наполнить содержимым.

Ошибки 401, 403 и другие 4xx

Три отдельных статуса: неавторизованный запрос (401), доступ запрещён (403), другая ошибка 4xx. Googlebot не передаёт учётные данные.

Что делатьОткрыть страницу без авторизации, если она нужна в поиске.

Не найдено (404)

Адрес отвечает 404; Google мог найти его по ссылке или он существовал раньше.

Что делатьНормально для удалённых страниц. Если у страницы есть замена — 301.

Вариант страницы с тегом canonical

Альтернативная версия — AMP, мобильная или десктопная — правильно указывает на индексируемую каноническую.

Что делатьНичего делать не нужно.

Страница является копией. Канонический вариант не выбран пользователем

Google счёл страницу дублем и выбрал главную сам.

Что делатьЕсли выбор неверен — поставить canonical явно или сделать страницы различными.

Страница является копией. Канонические версии, выбранные Google и пользователем, не совпадают

Google считает страницу дублем другого адреса — не того, что указан в canonical.

Что делатьВ «Проверке URL» посмотреть оба адреса — указанный вами в canonical и выбранный Google. Потом открыть в браузере три страницы: проверяемую и эти две — и понять, чем они похожи.

Страница с переадресацией

Адрес с редиректом в индекс не попадает; страницу, на которую он ведёт, Google оценивает отдельно.

Что делатьПроверить, что цель отвечает 200 и открыта для индексации.

Проиндексировано, несмотря на блокировку в файле robots.txt

Предупреждение: страница в индексе по ссылкам, хотя закрыта.

Что делатьЕсли страница не нужна в индексе — снять запрет и поставить noindex. Если закрыли по ошибке — исправить robots.txt.

Page indexed without content (в справке на английском)

Предупреждение: страница в индексе, но Google не смог прочитать её содержимое.

Что делатьПроверить, что видит робот: «Проверка URL» → проверка в реальном времени.

Причины исключения по справке Яндекса

Малоценная или маловостребованная

Алгоритм счёл, что у страницы мало шансов оказаться востребованной. Яндекс регулярно пересматривает это решение; с нарушениями и ограничениями сайта оно не связано.

Что делатьРазбор — в разделе о причинах выше.

Ошибка при загрузке или обработке

Сервер ответил 3XX, 4XX или 5XX, или робот не смог обработать страницу.

Что делать«Проверка ответа сервера» в Вебмастере; если страница доступна — проверить sitemap и запреты.

Запрет в robots.txt или noindex

Индексирование запрещено директивой или метатегом.

Что делатьУбрать запрет. Если вы его не ставили — обратиться к хостинг-провайдеру или регистратору и проверить, не заблокирован ли домен из-за окончания регистрации.

Перенаправление

Страница отдаёт редирект на другой адрес.

Что делатьУбедиться, что редирект действительно нужен и ведёт на рабочую страницу.

Дубль

Содержание повторяет другую страницу.

Что делатьЕсли дубль определён по ошибке — сделать страницы различными или склеить.

Неканоническая

Страница указывает canonical на другой адрес.

Что делатьПроверить, что canonical стоит правильно.

Неглавное зеркало

Сайт склеен с другим, и главным зеркалом выбран не он.

Что делатьЕсли сайты объединены по ошибке — разгруппировать по справке Вебмастера.

Нарушения

На сайте найдены нарушения.

Что делатьРаздел «Безопасность и нарушения» в Вебмастере.

Чек-лист индексации

Источники

Справки и разборы открыты 30 октября 2026 года.

Google

• How Google Search works
• Справка Search Console: отчёт «Индексирование страниц»
• Справка Search Console: «Проверка URL»
• Справка Search Console: как попросить Google повторно просканировать страницы
• Verify requests from Google crawlers and fetchers
• Consolidate duplicate URLs
• Canonicalization troubleshooting
• Googlebot: лимит 2 МБ HTML
• Журнал изменений документации Search Central
• Build and submit a sitemap
• Large site owner's guide to managing your crawl budget
• Introduction to robots.txt
• Блог Google: неподдерживаемые правила robots.txt (2019)
• Блог Google: lastmod, changefreq и priority (2023)
• Блог Google: закрытие инструмента параметров URL (2022)
• Indexing API Quickstart

Яндекс

• Как робот обходит сайт
• Новые и изменённые страницы
• Переобход страниц
• Как проверить, что робот принадлежит Яндексу
• Проверка страницы
• Страницы в поиске
• Исключённые страницы
• Малоценные и маловостребованные страницы
• Атрибут canonical
• Как удалить страницы из поиска
• Файл Sitemap
• Индексирование сайта
• Блог Вебмастера: «Яндекс Вебмастер восстанавливается» (16.10.2026)
• Блог Вебмастера: настройка GET-параметров
• Блог Вебмастера: 301-й редирект заменил директиву Host (2018)

IndexNow, разборы и кейсы

• Участники протокола IndexNow
• Devaka: как работает IndexNow в Яндексе (2021)
• Хабр: просадка после переезда, которую приняли за фильтр (10.10.2026)
• Хабр: 515 страниц, которых не было в поиске (30.08.2026)
• Хабр: сообщения о повреждении дата-центров Яндекса (октябрь 2026)
• vc.ru: два месяца SEO с нуля, малоценные страницы (15.07.2026)
• NEXFORCE: малоценная и маловостребованная страница (15.08.2026)
• Skroutz Engineering: оптимизация краулингового бюджета (2019)
• T-Bank Secrets, Kokoc Performance: ошибка рендеринга (19.08.2026)