Мы используем cookie-файлы
Мы используем файлы cookie для обеспечения правильной работы нашего сайта, чтобы сделать нашу коммуникацию еще лучше! Используя сайт без изменения настроек, вы даете согласие на использование ваших cookie-файлов.
Принять
Настройки
Мы используем cookie-файлы
Настройки
Мы используем cookie-файлы
Мы используем файлы cookie для того, чтобы предоставить Вам больше возможностей при использовании сайта.

Ошибки при составлении файла robots.txt

При продвижении сайтов мы часто замечаем ошибки в файле robots.txt, которые негативно влияют на ранжирование сайта. Рассказываем, какие ошибки бывают в robots.txt и как их исправить.
Robots.txt – это стандарт исключений для поисковых роботов.

В файле robots.txt приведены инструкции, которые сообщают поисковым роботам, какие URL запрещены или разрешены для индексации.

При наличии ошибок в файле robots.txt ненужные страницы могут попасть в индекс поисковых систем, либо наоборот, важные страницы не будут проиндексированы. Это в свою очередь может негативно сказаться на ранжировании сайта.

Разберем частые ошибки файла robots.txt.

Robots.txt находится не в корневой папке

Файл robots.txt должен находится в корневой папке сайта и быть доступным по адресу корневой папки и /robots.txt.

Пример:

https://site.ru/robots.txt

Если файл robots.txt будет размещен по другому адресу, поисковые системы не будут учитывать содержимое файла.

В robots.txt закрыты от индексации скрипты и стили

Закрытие от индексации скриптов и стилей может вызвать проблемы, часть контента может не проиндексироваться, либо проиндексироваться не в полном объеме.

Это негативно скажется на релевантности страницы и, соответственно, ранжировании сайта в поисковых системах.

Если в robots.txt закрыты служебные папки, в которых содержатся стили и скрипты, необходимо отдельно прописать открывающие директивы для скриптов и стилей.

Пример:

Allow: /bitrix/upload/*.js

Allow: /bitrix/upload/*.css

Disallow: /bitrix/

В robots.txt отсутствует ссылка на файл sitemap.xml

Отсутствие sitemap.xml в robots.txt не является ошибкой - robots.txt будет корректно выполнять свои функции без ссылки на карту сайта. Однако наличие карты сайта в robots.txt может ускорить индексацию сайта.

В robots.txt допущены ошибки или опечатки

Если директивы или User-Agent прописаны в robots.txt с ошибкой, поисковые роботы проигнорируют данные директивы, либо весь robots.txt (если ошибка в указании User-Agent).
Перед размещение файла robots.txt на сайте необходимо проверить файл на наличие ошибок и проанализировать, все ли необходимые страницы индексируются или не индексируется в соответствии с указанными правилами.

Как проверить robots.txt читайте в статье ниже.
Пожалуйста, оцените статью
Читайте далее
Показать еще
Автор статьи
Дмитрий Лашманов
SEO-специалист
Опыт работы в SEO 4 года
60+ реализованных проектов

Дополнительные курсы:

SEO в СНГ - Rush Academy
SEO на запад - Rush Academy
UX/UI-дизайн - Skillbox
Школа экспертов Нетологии