Шаблон канонических тегов и дублированного контента

Поиск дублированного и почти дублированного контента

Проведите аудит сайта, чтобы найти точные и почти дублированные страницы, прежде чем решать, как их объединить.

Поиск дублированного и почти дублированного контента

Прежде чем что-либо канонизировать, составьте инвентарь того, что действительно дублируется. Начните с полного сканирования и сгруппируйте URL с одинаковыми или очень похожими заголовками, meta-описаниями, H1 и основным текстом.

Проверьте эти распространённые источники дублирования:

• Варианты протокола и хоста: http против https, www против без-www, различия в завершающем слеше
• Параметры: сортировка, фильтры, идентификаторы сессий и теги отслеживания, например [Пример параметра]
• Версии для печати/AMP/мобильные версии одной и той же статьи
• Страницы с обилием шаблонного текста: тонкие страницы категорий или тегов, которые сильно пересекаются

1. Просканируйте сайт и экспортируйте URL, заголовок, H1 и хеш контента.
2. Отсортируйте по хешу контента, чтобы выявить точные дубликаты.
3. Выборочно проверьте почти дубликаты, сравнивая количество слов и общие фразы.
4. Подтвердите в [URL Search Console], какую версию Google индексирует сейчас.

Задокументируйте каждый кластер дубликатов и выберите один предпочтительный URL на кластер. Этот предпочтительный URL станет вашей канонической целью в следующих вариантах.

Самоссылающиеся канонические теги

Настройте поведение канонизации по умолчанию так, чтобы каждая индексируемая страница указывала сама на себя.

Самоссылающиеся канонические теги

Каждая индексируемая страница должна объявлять канонический тег, указывающий на её собственный чистый, предпочтительный URL. Такая самоссылка является значением по умолчанию и не даёт Google гадать, когда появляются незначительные вариации URL из-за ссылок, параметров или общих платформ.

Правила внедрения:

• Размещайте тег в [Секция Head], а не в теле страницы.
• Используйте абсолютный URL с правильным протоколом и хостом, например [Предпочтительный URL].
• Канонический URL должен возвращать статус 200 и быть индексируемой версией без перенаправлений.
• Сохраняйте один канонический тег на страницу; несколько конфликтующих тегов игнорируются.

1. Один раз определите предпочтительный хост и протокол и примените их по всему сайту.
2. Выводите собственный чистый URL страницы как канонический, убирая параметры отслеживания.
3. Проверяйте отрендеренный HTML, а не только шаблон, поскольку JavaScript может изменять теги.

Поскольку rel=canonical — это подсказка, усильте её последовательными внутренними ссылками, чистой XML-картой сайта и 301-редиректами для устаревших URL, чтобы все сигналы указывали на одну и ту же предпочтительную версию.

URL с параметрами и фасетной навигацией

Контролируйте дублирование от параметров сортировки, фильтров, сессий и отслеживания на страницах листинга и электронной коммерции.

URL с параметрами и фасетной навигацией

Фасетная навигация и параметры URL могут генерировать тысячи почти идентичных страниц, истощающих краулинговый бюджет. Решите, какие комбинации параметров заслуживают индексации, а какие должны консолидироваться до чистого базового URL.

Распространённые типы параметров и обращение с ними:

• Порядок сортировки (напр. [Параметр сортировки]): переупорядочивает те же элементы, поэтому указывайте канонический тег на несортированный базовый URL.
• Идентификаторы сессий и отслеживания: никогда не меняют контент, поэтому указывайте канонический тег на чистый URL.
• Фильтры, создающие уникальный, ценный ассортимент: могут заслуживать собственного самоссылающегося канонического тега и индексации.
• Пагинация: каждая страница должна ссылаться сама на себя, а не на страницу 1.

1. Перечислите каждый параметр, который выдаёт ваш сайт, и пометьте, меняет ли он контент.
2. Для параметров, не меняющих контент, указывайте канонический тег варианта на чистый базовый URL.
3. Сохраняйте канонические URL абсолютными, со статусом 200 и доступными для сканирования, не заблокированными в robots.txt.
4. Избегайте сочетания канонического тега с noindex на одном и том же URL.

Там, где фильтры не добавляют поисковой ценности, рассмотрите noindex для пользователей плюс контроль внутренних ссылок вместо опоры только на канонический тег, поскольку канонизация — это лишь подсказка.

Кросс-доменные канонические теги и синдицированный контент

Консолидируйте сигналы, когда один и тот же контент появляется на нескольких доменах или переиздаётся партнёрами.

Кросс-доменные канонические теги и синдицированный контент

Когда вы синдицируете статьи или переиздаёте контент на партнёрских доменах, кросс-доменный канонический тег просит Google засчитать первоисточник. Страница, которая переиздаёт, устанавливает канонический тег, указывающий на ваш оригинальный URL.

Как это настроить:

• Синдицированная копия добавляет канонический тег на оригинал, например [Оригинальный URL].
• Канонический тег должен быть абсолютным URL на домене-источнике, возвращающим 200.
• Обе версии могут оставаться доступными для читателей; канонический тег консолидирует сигналы ранжирования.
• Попросите партнёров внедрить его; вы не можете устанавливать канонические теги на доменах, которые не контролируете.

1. Убедитесь, что оригинал опубликован и индексируется, прежде чем синдицировать.
2. Предоставьте партнёрам точный абсолютный канонический URL для встраивания.
3. Проверьте, что тег присутствует в отрендеренном HTML партнёра.

Кросс-доменные канонические теги всё равно остаются подсказкой. Если консолидация критична, дополните её чётким графиком «сначала публикуем мы», внутренними ссылками и, где партнёры согласны, noindex на синдицированной копии.

Канонический тег против noindex против 301

Выберите правильный метод консолидации для каждого сценария дублирования.

Канонический тег против noindex против 301

Эти три инструмента решают разные задачи, и путаница между ними приводит к потере сигналов или деиндексации страниц. Сопоставьте метод с целью, прежде чем внедрять.

• 301-редирект: используйте, когда URL должен навсегда исчезнуть, а его сигналы должны консолидироваться к другому URL. Лучше всего для удалённых, перемещённых или объединённых страниц.
• rel=canonical: используйте, когда оба URL должны оставаться доступными для пользователей, но являются настоящими дубликатами, и вы хотите консолидировать индексацию в один. Это подсказка, поэтому держите обе версии согласованными.
• noindex: используйте, когда страница должна оставаться доступной для пользователей, но вне индекса, например тонкие страницы фильтров или результаты внутреннего поиска.

1. Спросите: должен ли URL по-прежнему существовать? Если нет — используйте 301.
2. Если да и он дублирует другую страницу — используйте канонический тег.
3. Если да, но он просто не должен ранжироваться — используйте noindex.

Не сочетайте канонический тег и noindex на одном и том же URL; сигналы конфликтуют, и Google может проигнорировать оба. Выберите один метод на URL и примените его чётко.

Проверка канонических тегов и типичные ошибки

Проверьте своё внедрение канонических тегов и выявите ошибки, которые незаметно ломают консолидацию.

Проверка канонических тегов и типичные ошибки

Канонический тег даёт сбой незаметно, поэтому целенаправленная проверка крайне важна. Просканируйте свои живые, отрендеренные страницы и убедитесь, что каждый канонический тег ведёт к чистой, индексируемой цели.

Проверьте эти типичные ошибки:

• Канонический тег на перенаправленный, заблокированный или 404 URL вместо страницы со статусом 200
• Относительные URL или URL с неправильным протоколом, когда канонический тег должен быть абсолютным
• Пагинированные страницы, канонизированные на страницу 1 вместо самоссылки
• Канонический тег плюс noindex на одном и том же URL, что конфликтует
• Несколько канонических тегов или внедрённые через JavaScript, которые не совпадают с исходным HTML

1. Просканируйте и экспортируйте каждый URL с его объявленным каноническим тегом.
2. Убедитесь, что каждая цель возвращает 200 и не заблокирована в robots.txt.
3. Сравните свой объявленный канонический тег с каноническим тегом, выбранным Google, в [URL Search Console].

Там, где Google выбирает иной канонический тег, чем вы объявили, воспринимайте это как сигнал, что внутренние ссылки, карты сайта или схожесть контента расходятся с вашим выбором, а затем согласуйте эти сигналы.

Приводит ли дублированный контент к санкциям Google?

Почти во всех случаях — нет. Дублированный контент обычно не является санкцией; вместо этого он впустую расходует краулинговый бюджет и распыляет сигналы ранжирования между конкурирующими URL. Канонизация консолидирует эти сигналы на вашей предпочтительной версии. Санкции обычно применяются только к намеренно вводящему в заблуждение или массово скопированному контенту.

Является ли rel=canonical директивой, которой Google обязан следовать?

Нет. Канонический тег — это подсказка, а не директива. Google учитывает его наряду с другими сигналами, такими как внутренние ссылки, редиректы, карты сайта и схожесть контента, и может выбрать иной канонический тег. Сделайте свой предпочтительный URL очевидным, держа все эти сигналы согласованными.

Должна ли каждая страница иметь канонический тег?

Да, по умолчанию каждая индексируемая страница должна ссылаться на собственный канонический тег, используя абсолютный URL, возвращающий статус 200. Самоссылающиеся канонические теги устраняют неоднозначность, когда появляются вариации URL по параметру, протоколу или хосту из-за ссылок или платформ.

Когда следует использовать 301-редирект вместо канонического тега?

Используйте 301, когда URL должен навсегда исчезнуть, а его сигналы должны консолидироваться к другому URL, например перемещённые или объединённые страницы. Используйте канонический тег, когда оба URL должны оставаться доступными для пользователей, но являются настоящими дубликатами, которые вы хотите индексировать как один.

Можно ли разместить канонический тег и тег noindex на одной странице?

Нет. Сочетание канонического тега и noindex на одном URL посылает конфликтующие сигналы, и Google может проигнорировать оба. Выберите один метод на URL: канонический тег для консолидации живого дубликата или noindex, чтобы оставить страницу доступной для пользователей, но вне индекса.

Должны ли пагинированные страницы указывать канонический тег на страницу 1?

Нет. Вторая и последующие страницы не являются дубликатами первой, поэтому каждый пагинированный URL должен ссылаться на собственный канонический тег. Канонизация всей серии на страницу 1 может скрыть более глубокий контент от индексации и потерять ссылки, имеющиеся только на более поздних страницах.