Мы используем cookie-файлы
Мы используем файлы cookie для обеспечения правильной работы нашего сайта, чтобы сделать нашу коммуникацию еще лучше! Используя сайт без изменения настроек, вы даете согласие на использование ваших cookie-файлов.
Принять
Настройки
Мы используем cookie-файлы
Настройки
Мы используем cookie-файлы
Мы используем файлы cookie для того, чтобы предоставить Вам больше возможностей при использовании сайта.

User-Agent в файле robots.txt

User-Agent – это идентификационная строка клиентского приложения, которая используется для приложений, поисковых роботов или пауков.

Кто такой User Agent в файле robots.txt

User Agent – это идентификационная строка клиентского приложения, которая используется для приложений, поисковых роботов или пауков.

При посещении веб-страницы приложение отправляет веб-серверу текстовую строку с информацией о себе. Данная строка начинается с User-Agent и содержит название приложения, браузера, поискового робота или паука, и характеристики приложения или браузера (например, версию браузера).

В файле robots.txt User-Agent сообщает, для какого поискового робота предназначены приведенные ниже директивы.

Чаще всего в robots.txt указываются User-Agent:

  • Yandexbot
  • Googlebot
  • Все User-Agent обозначаются символом *

User-Agent роботов Яндекса

YandexBot – основной поисковый робот Яндекса, который занимается индексацией сайта

YandexImages – робот, который индексирует изображения

YandexMobileBot – собирает страницы для проверки их адаптивности под мобильные устройства

YandexDirect – сканирует данные о материалах ресурсов-партнеров РСЯ

YandexMetrika – поисковый робот сервиса Яндекс.Метрика

YandexMarket – робот Яндекс.Маркета

YandexCalenda – краулер Яндекс.Календаря

YandexNews – робот, который индексирует Яндекс.Новости

YandexScreenshotBot – делает скриншоты документов

YandexMedia – робот, который индексирует мультимедийные данные

YandexVideoParser – робот Яндекс.Видео

YandexPagechecker – отображает микроразметку контента

YandexOntoDBAPI – паук объектного ответа, который скачивает изменяющиеся данные

YandexAccessibilityBot – скачивает документы и проверяет доступность данных документов для пользователей

YandexSearchShop – скачивает файлы формата Yandex Market Language, которые относятся к каталогам товаров

YaDirectFetcher – собирает страницы с рекламой, с целью проверки доступности данных страниц для пользователей и анализа тематики

YandexirectDyn – создает динамические баннеры

User-Agent роботов Google

Googlebot – основной поисковый робот Google, который индексирует страницы и проверяет их на адаптивность под мобильные устройства

AdsBot-Google – анализирует рекламу и оценивает ее качество на страницах, оптимизированных под ПК

AdsBot-Google-Mobile – анализирует рекламу и оценивает ее качество на страницах, оптимизированных под смартфоны

AdsBot-Google-Mobile-Apps – анализирует рекламу в мобильных приложениях и оценивает ее качество

Mediaparnters-Google – краулер маркетинговой сети Google AdSense

APIs-Google – User-Agent пользователя APIs-Google, который проверяет push-уведомления

Googlebot-Video – индексирует видеоконтент на страницах веб-сайтов

Googlebot-Image – индексирует изображения

Googlebot-News – сканирует страницы с новостями и добавляет их в Google Новости

Другие поисковые роботы и краулеры

Ahrefs – SEO-инструмент для анализа ссылочной массы

SEMrush – онлайн-сервис для оптимизации сайтов

SEO Spider – SEO программа для сканирования сайта

Serpstat – инструмент для развития SEO и рекламного контента

Moz – робот SEO-инструмента, который используется для анализа сайта
Пожалуйста, оцените статью
Читайте далее
Показать еще
Автор статьи
Дмитрий Лашманов
SEO-специалист
Опыт работы в SEO 4 года
60+ реализованных проектов

Дополнительные курсы:

SEO в СНГ - Rush Academy
SEO на запад - Rush Academy
UX/UI-дизайн - Skillbox
Школа экспертов Нетологии