Мы используем cookie-файлы
Мы используем файлы cookie для обеспечения правильной работы нашего сайта, чтобы сделать нашу коммуникацию еще лучше! Используя сайт без изменения настроек, вы даете согласие на использование ваших cookie-файлов.
Принять
Настройки
Мы используем cookie-файлы
Настройки
Мы используем cookie-файлы
Мы используем файлы cookie для того, чтобы предоставить Вам больше возможностей при использовании сайта.

Как запретить индексацию сайта или страницы в robots.txt

Чтобы удалить из поисковой выдачи Яндекса и Google весь сайт или отдельные разделы и страницы, необходимо закрыть их от индексации. Тогда страницы постепенно будут исключены из индекса и не будут отображаться в поиске. Закрыть страницы от индексации можно с помощью файла robots.txt.
Чтобы удалить из поисковой выдачи Яндекса и Google весь сайт или отдельные разделы и страницы, необходимо закрыть их от индексации. Тогда страницы постепенно будут исключены из индекса и не будут отображаться в поиске.

Закрыть страницы от индексации можно с помощью файла robots.txt.

Что такое robots.txt читайте в статье Что такое файл robots.txt.
Для чего необходимо закрывать страницы от индексации
В поисковой выдаче должны находиться страницы с полезным для пользователей контентом. Страницы в поиске должны отвечать на вопросы пользователей.

Некоторые страницы сайта могут содержать служебную информацию, либо дублировать основные канонические страницы. Наличие таких страниц в индексе может негативно повлиять на ранжирование сайта.
Какие страницы необходимо закрывать от индексации
От индексации необходимо закрывать следующие типы страниц:

  • Служебные страницы и разделы
  • Дубли страниц
  • Страницы с GET-параметрами
  • Страницы сортировки
  • Страницы фильтров
  • Страницы с динамическими параметрами в URL (например, страницы с рекламными метками)
  • Страницы с результатами поиска по сайту
  • Страницы, которые могут содержать данные о пользователях
  • Страницы оформления заказа и корзины
  • Личный кабинет

Также необходимо закрывать от индексации тестовые страницы или тестовую версию сайта, служебные поддомены или зеркала сайта на других доменах.
Как закрыть от индексации весь сайт
Необходимо указать User-Agent, для которого закрываем сайт.
Чтобы закрыть сайт для всех User-Agent, указываем:

User-Agent: *


Если необходимо закрыть весь сайт только для одного или нескольких конкретных User-Agent, указываем имена роботов, например:


User-Agent: Yandexbot
User-Agent: Googlebot

Подробнее ознакомиться с информацией о User-Agent вы сможете в статье User-Agent в файле robots.txt.


Добавляем закрывающую директиву Disallow и закрываем всю корневую папку:

User-Agent: *
Disallow: /


Если необходимо закрыть сайт для нескольких конкретных User-Agent, указываем всех User-Agent:

User-Agent: Googlebot
Disallow: /
User-Agent: Ahrefs
Disallow: /


Если необходимо закрыть сайт от индексации для всех User-Agent за исключением одного или нескольких User-Agent, необходимо добавить открывающую директиву Allow для User-Agent, для которого сайт будет доступен для индексации:

User-Agent: *
Disallow: /
User-Agent: Yandexbot
Allow: /


С помощью данной инструкции можно закрыть весь сайт от индексации и исключить все страницы сайта из поисковой выдачи.
Как закрыть от индексации страницу или раздел и исключить его из индекса
Чтобы закрыть от индексации страницу или раздел сайта, необходимо следовать приведенным выше правилам, но вместо корневой папки, указать путь к странице или разделу, который необходимо закрыть.

Если необходимо закрыть весь раздел, указываем полностью папку данного раздела:

User-Agent: *
Disallow: /bitrix/

Таким образом мы закрываем от индексации всю папку /bitrix/ и все страницы, которые вложены в данный раздел, например папку /bitrix/upload/.


Директива без / в конце будет равнозначна директиве со /, например Disallow: /bitrix будет работать также, как и Disallow: /bitrix/. Соответственно аналогично работает символ *.

Все приведенные ниже директивы будут закрывать все страницы, вложенные в раздел /bitrix/:


Disallow: /bitrix
Disallow: /bitrix/
Disallow: /bitrix*
Disallow: /bitrix/*


Если закрыть для индексации необходимо только папку /bitrix/, необходимо добавить в конце пути символ $.

User-Agent: *
Disallow: /bitrix/$

В таком случае папка /bitrix/ будет закрыта, а все вложенные страницы в раздел /bitrix/ будут доступны для индексации, например страница /bitrix/upload/.


Если необходимо закрыть несколько разных страниц, которые содержат одинаковый параметр в URL, необходимо использовать символ * перед указанием общего параметра:

User-Agent: *
Disallow: /*sort=
Disallow: /*price=
Disallow: /*search=
Disallow: /*?q=


Таким образом можно закрыть страницы от индексации и исключить страницы их поисковой выдачи Яндекса и Google.
Пожалуйста, оцените статью
Читайте далее
Показать еще
Автор статьи
Дмитрий Лашманов
SEO-специалист
Опыт работы в SEO 4 года
60+ реализованных проектов

Дополнительные курсы:

SEO в СНГ - Rush Academy
SEO на запад - Rush Academy
UX/UI-дизайн - Skillbox
Школа экспертов Нетологии