Мы используем cookie-файлы
Мы используем файлы cookie для обеспечения правильной работы нашего сайта, чтобы сделать нашу коммуникацию еще лучше! Используя сайт без изменения настроек, вы даете согласие на использование ваших cookie-файлов.
Принять
Настройки
Мы используем cookie-файлы
Настройки
Мы используем cookie-файлы
Мы используем файлы cookie для того, чтобы предоставить Вам больше возможностей при использовании сайта.

Как составить файл robots.txt

Подробная инструкция по составлению файла robots.txt с готовыми примерами. С помощью инструкции вы сможете создать эффективный robots.txt и улучшить индексацию вашего сайта.
Файл robots.txt позволит улучшить индексацию вашего сайта и исключить из индекса лишние страницы, которые могут негативно сказаться на ранжировании сайта.

Подробнее о том, для чего нужен robots.txt читайте в статье Для чего нужен файл robots.txt.


Чтобы файл robots.txt эффективно решал свою задачу необходимо придерживаться правил составления robots.txt и соблюдать синтаксис файла.

Подробнее познакомиться с правилами вы сможете в статье Синтаксис и правила составления файла robots.txt.

Ниже приведена пошаговая инструкция по составлению файла robots.txt.
Robots.txt — это текстовый файл в кодировке UTF-8.

Для составления файла robots.txt можно использовать любой текстовый редактор.

Укажите User-Agent

В первой строке файла robots.txt необходимо указать User-Agent, для которого будут прописаны правила. Пропишите User-Agent: и добавьте название поискового робота.

Пример:

User-Agent: Googlebot


Если на правила в файле robots.txt необходимо реагировать всем роботам укажите всех User-Agent с помощью символа *:

User-Agent: *


Подробнее с User-Agent вы можете ознакомиться в статье User-Agent robots.txt.

Добавьте запрещающие директивы Disallow

После указания User-Agent необходимо разместить запрещающие директивы Disallow.

Закройте от индексации страницы, которые не содержат полезной информации для пользователей, например:

  • Служебные файлы и папки
  • Страницы результатов поиска
  • Страницы сортировки
  • Страницы фильтров (в некоторых случаях)
  • Страницы с результатами поиска по сайту
  • Личный кабинет
  • Корзину
  • Страницы, которые содержат данные о пользователях
  • Страницы оформления заказа

Пример:

#сообщаем, что правило в robots.txt действуют для всех роботов

User-agent: *

#закрываем всю папку со служебными файлами

Disallow: /bitrix/

#закрываем сортировку на всех страницах сайта

Disallow: /*sort=

#закрываем страницы результатов поиска с любым значением после =

Disallow: /*search=

#закрываем корзину

Disallow: /basket/

#закрываем страницы оформления заказа

Disallow: /order

#закрываем личный кабинет

Disallow: /lk/

#закрываем страницы фильтров в каталоге

Disallow: /filter/



Подробнее о том, как закрыть страницы сайта для индексации читайте в статье Как запретить индексацию сайта или страницы в robots.txt.

Добавьте разрешающие директивы Allow

Если в ранее закрытых папках находятся страницы или файлы, которые необходимо проиндексировать, например изображения, PDF документы, необходимо добавить разрешающие директивы.


Также необходимо открыть для индексации скрипты и стили.


Пример:

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css


Важно! Разрешающие директивы должны быть длиннее запрещающих.


User-agent: *

#разрешаем индексировать изображения и PDF документы, которые лежат в закрытой папке /bitrix/upload/

Allow: /bitrix/upload/*.png

Allow: /bitrix/upload/*.jpg

Allow: /bitrix/upload/*.jpeg

Allow: /bitrix/upload/*.pdf

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css


#далее идут ранее составленные закрывающие директивы

Disallow: /bitrix/

Disallow: /*sort=

Disallow: /*search=

Disallow: /basket/

Disallow: /order

Disallow: /lk/

Disallow: /filter/

Добавьте Clean-param для Яндекса

В правилах Clean-param необходимо указать динамические параметры, которые не влияют на содержание страницы, например рекламные метки.


Пример:


Clean-param: utm_&k50id&cm_id&from&yclid&gclid&_openstat


Правило Clean-param действует только для Яндекса, в связи с этим необходимо указать User-Agent для которого предназначено данное правило:


User-agent: *

Allow: /bitrix/upload/*.png

Allow: /bitrix/upload/*.jpg

Allow: /bitrix/upload/*.jpeg

Allow: /bitrix/upload/*.pdf

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css

Disallow: /bitrix/

Disallow: /*sort=

Disallow: /*search=

Disallow: /basket/

Disallow: /order

Disallow: /lk/

Disallow: /filter/


User-agent: Yandex

Allow: /bitrix/upload/*.png

Allow: /bitrix/upload/*.jpg

Allow: /bitrix/upload/*.jpeg

Allow: /bitrix/upload/*.pdf

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css

Disallow: /bitrix/

Disallow: /*sort=

Disallow: /*search=

Disallow: /basket/

Disallow: /order

Disallow: /lk/

Disallow: /filter/

Clean-param: utm_&k50id&cm_id&from&yclid&gclid&_openstat


Подробнее о том, что такое Clean-param и как правильно прописать правило читайте в статье Директива Clean-param в файле robots.txt.

Закройте от индексации страницы с динамическими параметрами в URL для Google

Правило Clean-param действует для поисковой системы Яндекс.


Чтобы страницы с динамическими параметрами не индексировались Google, необходимо закрыть от индексации страницы с метками, указав запрещающие директивы для всех остальных User-Agen.


Пример:


User-agent: *

Allow: /bitrix/upload/*.png

Allow: /bitrix/upload/*.jpg

Allow: /bitrix/upload/*.jpeg

Allow: /bitrix/upload/*.pdf

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css

Disallow: /bitrix/

Disallow: /*sort=

Disallow: /*search=

Disallow: /basket/

Disallow: /order

Disallow: /lk/

Disallow: /filter/

Disallow: /*utm_

Disallow: /*k50id

Disallow: /*cm_id

Disallow: /*from

Disallow: /*yclid

Disallow: /*gclid

Disallow: /*_openstat


User-agent: Yandex

Allow: /bitrix/upload/*.png

Allow: /bitrix/upload/*.jpg

Allow: /bitrix/upload/*.jpeg

Allow: /bitrix/upload/*.pdf

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css

Disallow: /bitrix/

Disallow: /*sort=

Disallow: /*search=

Disallow: /basket/

Disallow: /order

Disallow: /lk/

Disallow: /filter/

Clean-param: utm_&k50id&cm_id&from&yclid&gclid&_openstat

Добавьте ссылку на файл Sitemap.xml

В файле robots.txt можно указать путь к xml-карте сайта. Это позволит ускорить индексацию новых страниц и страниц, на которые были внесены изменения.


User-agent: *

Allow: /bitrix/upload/*.png

Allow: /bitrix/upload/*.jpg

Allow: /bitrix/upload/*.jpeg

Allow: /bitrix/upload/*.pdf

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css

Disallow: /bitrix/

Disallow: /*sort=

Disallow: /*search=

Disallow: /basket/

Disallow: /order

Disallow: /lk/

Disallow: /filter/

Disallow: /*utm_

Disallow: /*k50id

Disallow: /*cm_id

Disallow: /*from

Disallow: /*yclid

Disallow: /*gclid

Disallow: /*_openstat

Sitemap: https://site.ru/sitemap.xml


User-agent: Yandex

Allow: /bitrix/upload/*.png

Allow: /bitrix/upload/*.jpg

Allow: /bitrix/upload/*.jpeg

Allow: /bitrix/upload/*.pdf

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css

Disallow: /bitrix/

Disallow: /*sort=

Disallow: /*search=

Disallow: /basket/

Disallow: /order

Disallow: /lk/

Disallow: /filter/

Clean-param: utm_&k50id&cm_id&from&yclid&gclid&_openstat

Sitemap: https://site.ru/sitemap.xml

Пожалуйста, оцените статью
Читайте далее
Показать еще
Автор статьи
Дмитрий Лашманов
SEO-специалист
Опыт работы в SEO 4 года
60+ реализованных проектов

Дополнительные курсы:

SEO в СНГ - Rush Agency
SEO на запад - Rush Agency
UX/UI-дизайн - Skillbox
Школа экспертов Нетологии