Мы используем cookie-файлы
Мы используем файлы cookie для обеспечения правильной работы нашего сайта, чтобы сделать нашу коммуникацию еще лучше! Используя сайт без изменения настроек, вы даете согласие на использование ваших cookie-файлов.
Принять
Настройки
Мы используем cookie-файлы
Настройки
Мы используем cookie-файлы
Мы используем файлы cookie для того, чтобы предоставить Вам больше возможностей при использовании сайта.

Как проверить файл robots.txt

С помощью файла robots.txt можно улучшить индексацию сайта. При этом файл robots.txt должен соответствовать требованиям поисковых систем. Для проверки корректности robots.txt используйте нашу инструкцию.
Техническую проверку сайта рекомендуется начинать проверять именно с файла robots.txt.

Настройка индексации сайта - один из важнейших этапов в SEO-продвижении сайта. С помощью правильной настройки файла robots.txt можно управлять индексацией сайта и исключить из индекса страницы, которые могут негативно сказаться на ранжировании сайта.

Для чего проводить проверку robots.txt

Файл robots.txt позволяет управлять индексацией сайта. Правильно составленный robots.txt позволит убрать из индекса лишние страницы, которые могут помещать ранжированию сайта.

При этом поисковые системы Яндекс и Google предъявляют разные требования к составлению файла robots.txt.

В связи с этим необходимо проверять robots.txt на соответствия требования поисковых систем отдельно для Яндекса и отдельно для Google.

Если несколько инструментов для проверки robots.txt.

Проверка robots.txt в Яндекс Вебмастере

Для проверки robots.txt необходимо авторизоваться в Яндексе и открыть инструмент https://webmaster.yandex.ru/tools/robotstxt/.

Введите проверяемый сайт и добавьте ваш вариант robots.txt в поле "Исходный код файла robots.txt".

Сервис покажет результаты проверки и сообщит о наличии или отсутствии ошибок.

Важно провести проверку доступности основных продвигаемых типов страниц.

Добавьте в поле "Разрешены ли URL" ссылки на основные продвигаемые страницы и страницы, которые должны быть закрыты от индексации. Сервис покажет доступность страницы. Если нужные страницы не доступны для индексации или наоборот, служебные страницы не закрыты - проверьте корректность составления директив файла robots.txt

Проверка robots.txt в Google

В старой версии Google Search Console был инструмент для проверки файла robots.txt. Однако в текущей версии панели вебмастера в Google такой инструмент отсутствует.

Вероятнее всего это связано с тем, что файл robots.txt не работает в поисковой системе Google для закрытия.

Чтобы закрыть страницы от индексации в Google, необходимо прописать на странице тег noindex, либо закрыть страницу обязательной авторизацией, о чем сообщает сам Google в своей документации.


Для исключения страницы из индекса Google можно использовать инструмент "Удаления" в Google Search Console.
Пожалуйста, оцените статью
Читайте далее
Показать еще
Автор статьи
Дмитрий Лашманов
SEO-специалист
Опыт работы в SEO 4 года
60+ реализованных проектов

Дополнительные курсы:

SEO в СНГ - Rush Academy
SEO на запад - Rush Academy
UX/UI-дизайн - Skillbox
Школа экспертов Нетологии