Мы используем cookie-файлы
Мы используем файлы cookie для обеспечения правильной работы нашего сайта, чтобы сделать нашу коммуникацию еще лучше! Используя сайт без изменения настроек, вы даете согласие на использование ваших cookie-файлов.
Принять
Настройки
Мы используем cookie-файлы
Настройки
Мы используем cookie-файлы
Мы используем файлы cookie для того, чтобы предоставить Вам больше возможностей при использовании сайта.

Директива Clean-param в файле robots.txt

Clean-param — директива robots.txt, поддерживаемая роботами Яндекса. Clean-param позволяет сообщать о динамических параметрах, которые присутствуют в URL-адресах страниц (например, рекламные метки).

Что такое Clean-param

Clean-param — директива robots.txt, поддерживаемая роботами Яндекса. Clean-param позволяет сообщать о динамических параметрах, которые присутствуют в URL-адресах страниц (например, рекламные метки).

Для чего нужна директива Clean-param

Директива Clean-param нужна для избежания возникновения дублей страниц. Наличие дублей страниц может негативно сказаться на индексации и ранжировании сайта в поисковых системах.

Кроме того дубли страниц будут расходовать краулинговый бюджет, что может замедлить индексацию других страниц сайта.

Как работает директива Clean-param

Например, на сайте присутствует страница категории каталога:

https://site.ru/catalog/category/

Данная страница https://site.ru/catalog/category/ может иметь рекламные метки, например:

https://site.ru/catalog/category/?utm_source=yandex

Такие метки позволяют отслеживать переходы по рекламе и упрощать аналитику. При этом страницы с рекламными метками являются дублями канонической страницы https://site.ru/catalog/category/.

С помощью Clean-param мы можем закрыть от индексации дубли страниц (страницы с рекламными метками), указав Clean-param со следующим содержанием:

Clean-param: utm_

Указание такой директивы запретит индексировать Яндексу все страницы сайта, которые содержат в URL utm-метки.

Сайт может иметь несколько рекламных источников, в связи с чем на разных страницах могут быть указаны различные метки в URL, например:

  • utm_source
  • utm_medium
  • utm_campaign
  • utm_term
  • utm_referrer
  • cm_id
  • from
  • yclid
  • gclid
  • _openstat
  • k50id
Чтобы закрыть страницы со всеми видами меток, необходимо указать в Clean-param все метки через символ &.

Пример:

Clean-param: utm_&k50id&cm_id&from&yclid&gclid&_openstat
Почему Clean-param, а не Disallow
В отличие от закрывающей директивы Disallow, Clean-param позволяет передавать основной канонической странице накопленные метрики и поведенческие факторы, о чем сообщается в Яндекс Справке.

Для кого будет полезна директива Clean-param

В большинстве случаев использовать Clean-param не нужно, так как дубли страниц, сортировка и другие GET-параметры закрываются запрещающими директивами Disallow.

Директива Clean-param в robots.txt будет полезна сайтам с большим объемом рекламируемых страниц и рекламных источников.

Использование Clean-param позволит не индексировать страницы с рекламными метками, при этом поведенческие факторы с данных страниц будут учитываться Яндексом, о чем сообщает сам Яндекс в своей документации.

Синтаксис директивы Clean-param

  1. В файле robots.txt указывается директива Clean-param: по аналогии с директивами Disallow и Allow.
  2. Далее идет перечисление динамических параметров, которые влияют на индексацию сайта.
  3. Если таких параметров несколько, они перечисляются через амперсанд - &.
  4. При указании параметров необходимо учитывать регистр символов.
  5. Длина директивы Clean-param ограничивается 500 символами (если объем директивы превышает 500 символов, можно указать второй Clean-param, либо оптимизировать текущий).

Как прописать Clean-param в файле robots.txt

Для примера рассмотрим страницы разными UTM-метками:

https://www.site.ru/category/name-1/?utm_medium
https://www.site.ru/category/name-2/?utm_source
https://www.site.ru/category/name-3/?utm_campaign

Чтобы закрыть данные страницы от индексации, необходимо прописать следующую директиву:

Clean-param: utm_


Если URL страниц содержат разные рекламные метки, например:

https://www.site.ru/category/name-1/?yclid
https://www.site.ru/category/name-2/?gclid
https://www.site.ru/category/name-3/?utm_source
https://www.site.ru/category/name-4/?utm_campaign

Необходимо сформировать директиву Clean-param следующим образом:

Clean-param: utm_&gclid&yclid
Пожалуйста, оцените статью
Читайте далее
Показать еще
Автор статьи
Дмитрий Лашманов
SEO-специалист
Опыт работы в SEO 4 года
60+ реализованных проектов

Дополнительные курсы:

SEO в СНГ - Rush Academy
SEO на запад - Rush Academy
UX/UI-дизайн - Skillbox
Школа экспертов Нетологии