Enterprise SEO: что отличает аудит сайта на 100M+ страниц

Большой сайт нельзя аудировать как обычный. Это не вопрос амбиций или масштаба — это вопрос другого типа проблем, другого инструментария и другой логики приоритизации.

На сайте с миллионами страниц вы физически не можете проверить каждый URL. Это не нужно. И это не поможет.

Enterprise SEO — это работа с системами, шаблонами и процессами. Не со страницами.

Страницы vs шаблоны: принципиальная разница

Когда у вас 500K страниц и title на 80% из них генерируется одним шаблоном — проблема не в 400K страниц. Проблема в шаблоне.

Исправьте шаблон — закрыли 400K проблем одним коммитом. Продолжайте фиксить страницы поштучно — через год окажетесь на том же месте, только с большим техдолгом.

Crawl budget: когда это реально проблема

Crawl budget становится реальным ограничением, когда объём сайта значительно превышает возможности бота обойти его за разумный срок.

Практическая эвристика: если ваш сайт содержит сотни тысяч URL и Googlebot по данным логов обходит менее 1–2% страниц в день — это сигнал, что crawl budget требует управления. Точный порог зависит от авторитетности домена, частоты обновлений и структуры.

• Важные страницы могут месяцами не переиндексироваться после изменений.
• Мусорные страницы в индексе расходуют бюджет в ущерб полезным.
• Новые разделы могут не появляться в выдаче неделями.

Поэтому первый вопрос в enterprise-аудите — не «есть ли дубли», а «как распределяется crawl budget и куда бот ходит чаще всего». Ответ — только в логах.

Лог-анализ: что видит бот против того, что видите вы

Server logs — единственный источник правды о том, как поисковый бот реально обходит сайт. GSC даёт агрегированную картину. Sitemap.xml — ваши намерения. Логи — реальность.

В логах видно:

• Какие разделы бот обходит чаще всего.
• Какие URL запрашивает, но не индексирует.
• Есть ли аномальные всплески запросов — сигнал проблемы.
• Насколько часто обходятся приоритетные коммерческие страницы.
• Какие страницы не посещались месяцами.

# 1. Установить зависимость (один раз):
pip install openpyxl

# 2. Положить log_analyzer.py в папку с лог-файлами (.log / .txt) и запустить:
python log_analyzer.py

# Что получите в log_analysis.xlsx:
#   Stats_*   — топ URL, IP, статус-коды, распределение по часам
#   UA_*      — все user agent с числом запросов
#   Bot_RL_*  — rate-limit: Googlebot, Yandexbot, другие боты

# Что смотреть в первую очередь:
# 1. Bot_RL_* → max_requests_per_minute Googlebot — норма 1–3, аномалия > 20
# 2. Stats_* → url_counts по паттерну /page/, /filter/, /?= —
#    если > 40% краулинга, crawl budget уходит в мусор
# 3. UA_*    → незнакомые боты с высокой частотой — кандидаты на блокировку

Анализ шаблонов: одна проблема = миллион страниц

Проблемы на enterprise-сайтах существуют в двух режимах:

• Системные — возникают из шаблона и воспроизводятся на всех страницах, созданных по нему.
• Точечные — локализованы на конкретных URL и не масштабируются.

Большинство времени на enterprise-аудите нужно тратить на системные проблемы. Что ищем в шаблонах:

• Генерация дублирующегося title/description.
• Шаблонные h1 без уникализации.
• Canonical, который всегда указывает на себя — даже там, где это неверно.
• JavaScript-зависимые блоки, которые бот не видит.
• Пустой контент на страницах, сгенерированных из пустых полей базы данных.

Сегментация: «денежные шаблоны» в приоритете

На большом сайте всегда будет много шаблонов. Не все они одинаково важны. Логика: сначала работаем с сегментами, которые приносят деньги или имеют наибольший потенциал. Трафик сам по себе не всегда коррелирует с доходом — важна маржинальность и конверсия.

Index bloat: невидимая проблема

Index bloat — ситуация, когда в индексе находятся тысячи или миллионы страниц без реальной ценности.

Есть управленческий аспект: команда теряет фокус. Когда в GSC 5M страниц и половина из них — мусор, сложно понять, что реально нужно улучшать. Отчёты засорены, приоритеты размыты.

Типичные источники index bloat:

• Страницы пагинации без ограничений.
• Фильтры с параметрическими URL без управления.
• Технические страницы: авторизация, корзина, поиск по сайту.
• Устаревшие URL после редизайна или миграции.
• Дубли: trailing slash, www/без www, http/https.

Управление процессами: почему enterprise SEO ломается изнутри

Index bloat — это не только техническая проблема. Технические страницы попадают в индекс не потому что «так настроено», а потому что нет процесса, который не дал бы им туда попасть. Это уже вопрос управления SEO-процессами.

На больших сайтах SEO ломается не только снаружи. Оно ломается в процессах разработки, деплоя и управления контентом.

Порядок работ

Пошаговая инструкция: как начать enterprise-аудит

Кириченко Станислав

20+ лет в SEO, сложные технические аудиты, second opinion, AI-автоматизация · Подробнее обо мне