Зачем прописывать директивы в robots.txt отдельно для Яндекс?

12
DC
На сайте с 18.09.2019
Offline
15
539

Всем привет!

Объясните, пожалуйста, зачем прописывать директивы в robots.txt отдельно для User-agent Яндекс, если User agent: * предполагает, что директивы прописаны для роботов всех ПС?

И необходимо ли это делать? Или можно оставить только User agent: * ?

W
На сайте с 08.02.2017
Offline
159
#1

чтобы что-то применить только для яндекса, а не всех поисковиков (с) ваш кэп

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
DV
На сайте с 01.05.2010
Offline
644
#2
специально дублировать не нужно, если отличий нет.

https://webmaster.yandex.ru/blog/izmeneniya-v-obrabotke-robots-txt#576ac66f0927c81600e5e71a

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
petrov-I
На сайте с 05.01.2020
Offline
21
#3

Потому что Яндекс многие вещи понимает совсем не так, как Гугл, например.

Если проблемы изначально никакой не просматривается - можно не париться отдельным списком директив. А вот если нужно от Яши что-то скрыть - то таки вот.

Простой пример: сайтмап для картинок. Гугл его поймёт и использует, для Яндыха это что-то непонятное, возможно - преступное.

suffix
На сайте с 26.08.2010
Offline
264
#4

Еще amp-страницы - несмотря на каноникал Яндекс их тащит в индекс - значит для Яндекса их надо закрыть от индексации, от Гугла разумеется не надо.

Клуб любителей хрюш (https://www.babai.ru)
aleksandrbol
На сайте с 17.07.2009
Offline
364
#5

Лучше вообще не использовать этот файл, а использовать теги.

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
WebAlt
На сайте с 02.12.2007
Offline
215
#6

Если одинаковые правила и даже не поддерживаемые той или иной ПС нет смысла разделять, неподходящие правила та или иная ПС их проигнорирует, "усвояемых кроликов" прочтёт. Если хочешь что-то разрешить/запретить для конкретных ПС, то тогда да, грубо говоря, * поставил на запрет, нужным разрешил или наоборот по отдельности, а если позволяет возможность, то использовать метатеги, как и написали выше тоже моё ИМХО.

Также можно запретить или разрешить индексацию разным ботам одной ПС, вроде эти ссылки ;):

https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html#robot-in-logs

https://support.google.com/webmasters/answer/1061943?hl=ru

Robots.txt - индивидуальный, его нужно создавать самому, для своего сайта, а не копировать у других, ну или по крайней мере, если от CMS, изменить/добавить/вообще не заморачиваться.🍻

Ну и проверять конечно, то что создал, в панелях ПС вебмастера.🚬🍻☝🍻🍾🚬🍻;)

Промокод на скидку 25%: [ 64821976 ] на сайтах: [ https://firstvds.ru ] - виртуальные серверы; [ https://1dedic.ru ] - выделенные серверы; [ https://ispserver.ru ] - хостинг, VPS/VDS, выделенные и облачные серверы с полным администрированием.
DC
На сайте с 18.09.2019
Offline
15
#7

Все спасибо за ответы!

[Удален]
#8
aleksandrbol:
Лучше вообще не использовать этот файл, а использовать теги.

Это что за дурь?

Lazy Badger
На сайте с 14.06.2017
Offline
191
#9
Miha Kuzmin (KMY):
Это что за дурь?

Хорошая, забористая. Экспертная лакшери, я б сказал.

aleksandrbol:
Лучше вообще не использовать этот файл, а использовать теги.

На сайте с десятками-сотнями тысяч страниц?! Ню-ню..."Синька - зло", учите матчасть, любезный, и не изобретайте велосипед с квадратным колесами

Производство жести методом непрерывного отжига
SS
На сайте с 02.02.2009
Offline
107
#10
LazyBadger:
Хорошая, забористая. Экспертная лакшери, я б сказал.
На сайте с десятками-сотнями тысяч страниц?!

Там без robots или блокировки части не нужных ботов на уровне сервера совсем тяжело, тем более обязательно ставить.

Если не стоит, попробуйте оставить только нужных, остальным запретить, после сравните нагрузку на сервер.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий