Шаблон для устранения проблем с индексацией и покрытием

Выясните, почему страницы не индексируются, с помощью отчёта «Индексирование страниц» и инструмента проверки URL в Search Console, затем устраните настоящую причину и подтвердите исправление.

Не каждая страница заслуживает индексации, поэтому первая задача — отличить настоящую проблему от обычной избирательности Google. Этот шаблон проведёт вас через отчёт «Индексирование страниц» и инструмент проверки URL в Search Console, чтобы найти настоящую причину исключения URL. Вы пройдёте путь от подтверждения симптома до запроса индексации и проверки исправления.

6 готовых вариантов

Подтвердите проблему

Вы считаете, что страница должна быть проиндексирована, но не уверены, что её действительно нет в индексе.

Начните с доказательства, что страница действительно исключена

Прежде чем что-либо менять, убедитесь, что URL действительно отсутствует в индексе Google. Страница, которая ранжируется по собственному заголовку, уже проиндексирована.

Проверка URL в Search Console: вставьте [Полный URL] в строку проверки и прочитайте вердикт сверху. «URL есть в Google» означает, что он проиндексирован; «URL нет в Google» означает, что нет.
Запрос site:: выполните поиск по [site:example.com/path]. Отсутствие результата — сильный сигнал, но доверяйте проверке URL больше, чем [site:], которая может отставать.
Контекст покрытия: откройте отчёт «Индексирование страниц» и найдите, под какую причину исключения подпадает этот URL.

Запишите точную строку причины, которую сообщает Google. Исправление для «Просканирована, но пока не проиндексирована» полностью отличается от «Заблокировано в файле robots.txt», так что фиксация точного состояния сейчас сэкономит напрасные усилия позже.

Проверенный URL: [URL] Сообщённое состояние: [Состояние]

Просканирована-не-проиндексирована и Обнаружена-не-проиндексирована

Google знает ваш URL, но (пока) решил не индексировать его.

Два разных сигнала, два разных ответа

Эти состояния обычно указывают на проблемы с ценностью или бюджетом сканирования, а не на техническую блокировку, поэтому сдержите желание просто раз за разом нажимать «Запросить индексирование».

Просканирована, но пока не проиндексирована: Google загрузил страницу, но решил, что её не стоит индексировать. Чаще всего это сигнал качества или ценности: тонкий, дублирующийся или малозатребованный контент.
Обнаружена, но пока не проиндексирована: Google нашёл URL (часто через ваш файл Sitemap), но ещё не просканировал его. Это часто отражает ограничения бюджета сканирования или медленный, большой сайт.

Для «Просканирована-не-проиндексирована» усильте страницу: углубите контент, добавьте внутренние ссылки с релевантных проиндексированных страниц и убедитесь, что она чётко отвечает намерению. Для «Обнаружена-не-проиндексирована» сократите напрасное сканирование: устраните медленные ответы, уберите малоценные URL и улучшите внутренние ссылки, чтобы важные страницы достигались за меньшее число кликов.

Состояние: [Состояние] Вероятная причина: [Качество / Бюджет сканирования]

Заблокировано robots.txt / noindex

Директива активно удерживает страницу вне индекса.

Проверьте самостоятельно созданные блокировки

Это самые легко устранимые причины, ведь страница исключена явным правилом, которым вы управляете. Проверка URL назовёт директиву напрямую.

Заблокировано в файле robots.txt: Google запрещено сканировать. Откройте свой robots.txt и найдите правило, соответствующее [путь URL]. Помните, что блокировка в robots предотвращает сканирование, но не всегда индексацию, однако она не даёт Google увидеть ваш контент.
Исключено тегом noindex: страница возвращает метатег robots [noindex] или заголовок X-Robots-Tag. Выполните живой тест в проверке URL, чтобы подтвердить, что директива присутствует прямо сейчас.

Удалите или исправьте проблемное правило, затем с помощью живого теста убедитесь, что Google может сканировать страницу и что noindex больше нет. Следите за ловушкой, когда robots.txt блокирует страницу, так что Google даже не видит, что вы убрали noindex. Когда всё чисто, переходите к запросу индексации.

Найденная директива: [robots.txt / noindex]

Проблемы с каноническими и дублирующимися URL

Google проиндексировал другой URL, а не тот, который вы отправили.

Когда Google выбирает свой канонический URL

Если страница показывает «Дубликат, Google выбрал не тот канонический URL, что и пользователь» или «Альтернативная страница с правильным каноническим тегом», контент, вероятно, проиндексирован, просто под другим URL.

Сравните канонические URL: в проверке URL сопоставьте «Канонический URL, объявленный пользователем» с «Каноническим URL, выбранным Google». Расхождение — это суть проблемы.
Найдите выбранную страницу: отметьте, какому URL Google отдал предпочтение, и решите, приемлемо это или нет.

Если выбор Google приемлем, действий не нужно: контент охвачен. Если вы хотите, чтобы победила проверенная страница, отправляйте согласованные сигналы: самоссылающийся канонический URL, внутренние ссылки на предпочтительный URL, соответствующие записи в Sitemap и по-настоящему отличающийся контент, чтобы страницы не воспринимались как дубликаты. Противоречивые сигналы — обычная причина, по которой Google отменяет ваше объявление.

Объявленный канонический: [URL] Выбранный Google: [URL]

Причины качества и тонкого контента

Страница сканируется и уникальна, но всё равно не индексируется.

Заслужите индексацию, а не просто просите её

Когда нет технической блокировки и нет конфликта канонических URL, «Просканирована, но пока не проиндексирована» почти всегда отражает суждение Google, что страница не добавляет достаточно ценности. Рассматривайте это как проблему контента, а не ошибку.

Оцените уникальность: предлагает ли страница что-то, чего нет у проиндексированных конкурентов и на ваших других страницах?
Проверьте глубину и намерение: тонкие, шаблонные или автоматически сгенерированные страницы — частые кандидаты на неиндексацию.
Пересмотрите внутренний авторитет: осиротевшие страницы без внутренних ссылок воспринимаются как низкоприоритетные.

Существенно улучшите страницу (оригинальные детали, ясная цель и полезная структура), затем добавьте ссылки на неё со связанных, уже проиндексированных страниц, чтобы передать сигналы релевантности и обнаружения. Примите, что некоторые страницы, например почти пустые архивы тегов или дублирующиеся страницы с разбивкой, могут просто не заслуживать индексации. Объединение или удаление таких может поднять те, что заслуживают.

Пробел в ценности страницы: [Заметки]

Запрос индексации и проверка исправлений

Вы устранили первопричину и хотите, чтобы Google проверил снова.

Завершите цикл правильно

Как только основная проблема решена, побудите Google повторно просканировать страницу и подтвердите, что исправление держится. Делайте это только после устранения настоящей причины: запрос индексации неисправленной страницы тратит запрос впустую.

Выполните живой тест: в проверке URL нажмите «Проверить страницу», чтобы подтвердить, что страница теперь сканируется, индексируется и не содержит noindex.
Запросите индексацию: нажмите «Запросить индексирование» для единственного исправленного URL. Избегайте повторной отправки одной страницы: это не ускоряет процесс.
Проверьте в масштабе: в отчёте «Индексирование страниц» откройте нужную причину и нажмите «Проверить исправление», чтобы Google повторно проверил все URL в этой группе.

Проверка длится дни или недели; отслеживайте статус, пока он не покажет «Пройдено». Для исправлений по всему сайту опирайтесь на «Проверить исправление», а не проверяйте URL по одному.

Применённое исправление: [Описание] Статус проверки: [Статус]

Как использовать этот шаблон

Откройте отчёт «Индексирование страниц» в Search Console и просмотрите список причин, по которым страницы не проиндексированы, отсортированный по числу затронутых URL.
Выберите URL или группу причин, которая вас интересует, и запишите точную строку состояния, которую использует Google (например, «Просканирована, но пока не проиндексирована»).
Прогоните URL через инструмент проверки URL и прочитайте верхний вердикт, чтобы подтвердить, есть страница в Google или нет.
Воспользуйтесь «Проверить страницу», чтобы проверить текущий статус сканирования, индексируемость и любые сигналы noindex или canonical, которые существуют прямо сейчас.
Сопоставьте сообщённое состояние с правильным вариантом: блокировки и директивы — это технические исправления, тогда как «просканирована-» или «обнаружена-не-проиндексирована» обычно указывают на качество или бюджет сканирования.
Примените подходящее исправление в его источнике: отредактируйте robots.txt, уберите noindex, согласуйте канонические URL или усильте контент страницы и внутренние ссылки.
Повторно выполните живой тест, чтобы подтвердить, что исправление на месте, затем нажмите «Запросить индексирование» для этого единственного исправленного URL.
Вернитесь к отчёту «Индексирование страниц», откройте группу причин и нажмите «Проверить исправление», чтобы Google повторно проверил каждый URL в этой группе, затем следите, пока проверка не пройдёт.

Советы

Не каждая страница должна быть проиндексирована. Страницы тегов, отфильтрованные URL и тонкие архивы часто исключаются правильно, поэтому сосредоточьте усилия на страницах, которые действительно заслуживают ранжирования.
При диагностике доверяйте живому тесту в проверке URL больше, чем кэшированному статусу индекса, поскольку он отражает страницу именно такой, какой Google может загрузить её сегодня.
Повторные запросы индексации не заставляют Google индексировать страницу быстрее. Сначала устраните основную причину, сделайте запрос один раз, затем используйте «Проверить исправление» для групп.
Рассматривайте «Просканирована, но пока не проиндексирована» как сигнал ценности, а не ошибку. Самое надёжное исправление — сделать страницу полезнее и лучше связанной, а не технические манипуляции.

Частые вопросы

Что на самом деле означает «Просканирована, но пока не проиндексирована»?

Это означает, что Google загрузил страницу, но решил не индексировать её. Обычно это суждение о качестве или ценности, а не техническая ошибка, поэтому исправление, как правило, состоит в том, чтобы улучшить глубину, уникальность и внутренние ссылки страницы, а не менять настройку.

Чем отличается «Обнаружена, но пока не проиндексирована»?

«Обнаружена» означает, что Google знает о существовании URL, часто из вашего файла Sitemap, но ещё не просканировал его. Это часто сигнализирует о давлении на бюджет сканирования на больших или медленных сайтах. Улучшите скорость сайта, уберите малоценные URL и усильте внутренние ссылки на важные страницы.

Должна ли каждая страница моего сайта быть проиндексирована?

Нет. Многие URL, такие как отфильтрованные или отсортированные списки, почти пустые страницы тегов и дублирующиеся страницы с разбивкой, правильно остаются вне индекса. Стремитесь проиндексировать по-настоящему ценные страницы, а не гнаться за стопроцентным покрытием.

Почему Google выбрал другой канонический URL, чем тот, который я задал?

Когда сигналы противоречат, Google может выбрать свой канонический URL и сообщить «Дубликат, Google выбрал другой канонический URL». Согласуйте свой канонический тег, внутренние ссылки, записи в Sitemap и контент, чтобы все они указывали на один и тот же предпочтительный URL и поддерживали его.

Гарантирует ли запрос индексации, что страница будет проиндексирована?

Нет. Запрос индексации лишь просит Google просканировать раньше; он никогда не отменяет решение о качестве или блокировку. Если настоящая причина не устранена, страница останется исключённой, поэтому решите корневую проблему перед запросом.

Сколько времени занимает «Проверить исправление»?

Проверка обычно длится от нескольких дней до нескольких недель, пока Google повторно проверяет URL в затронутой группе. Оставьте её работать и следите за статусом; он перейдёт от «Начата» к «Пройдено» или «Не пройдено» без повторной отправки с вашей стороны.