Мы используем cookie-файлы
Мы используем файлы cookie для обеспечения правильной работы нашего сайта, чтобы сделать нашу коммуникацию еще лучше! Используя сайт без изменения настроек, вы даете согласие на использование ваших cookie-файлов.
Принять
Настройки
Мы используем cookie-файлы
Настройки
Мы используем cookie-файлы
Мы используем файлы cookie для того, чтобы предоставить Вам больше возможностей при использовании сайта.

Что такое файл robots.txt

Robots.txt – это стандарт исключений для поисковых роботов. В файле robots.txt приведены инструкции, которые сообщают поисковым роботам, какие URL запрещены или разрешены для индексации.

Что такое robots.txt

Robots.txt – это стандарт исключений для поисковых роботов.

В файле robots.txt приведены инструкции, которые сообщают поисковым роботам, какие URL запрещены или разрешены для индексации.

Robots.txt - это текстовый файл в кодировке UTF-8. Составить robots.txt можно в любом текстовом редакторе.
Файл robots.txt позволяет управлять трафиком поисковых роботов на вашем сайте и улучшать индексацию ресурса.

С помощью robots.txt можно закрыть от индексации служебные страницы и файлы, либо открыть для индексации документы, которые находятся в закрытых папках, например изображения, скрипты, стили и PDF документы.

Подробнее о том, как закрыть от индексации сайт или страницу читайте в статье Как запретить индексацию сайта или страницы в robots.txt.


Файл robots.txt может защитить от попадания в индекс дублей или пустых страниц, которые могут негативно повлиять на ранжирование сайта.

Подробная инструкция по составлению файла robots.txt приведена в статье Как составить robots.txt.
Пожалуйста, оцените статью
Читайте далее
Показать еще
Автор статьи
Дмитрий Лашманов
SEO-специалист
Опыт работы в SEO 4 года
60+ реализованных проектов

Дополнительные курсы:

SEO в СНГ - Rush Academy
SEO на запад - Rush Academy
UX/UI-дизайн - Skillbox
Школа экспертов Нетологии