Зачем прописывать директивы в robots.txt отдельно для Яндекс?

12
lockki
На сайте с 03.08.2010
Offline
124
#11
Dynamic Cats:
Всем привет!

Объясните, пожалуйста, зачем прописывать директивы в robots.txt отдельно для User-agent Яндекс, если User agent: * предполагает, что директивы прописаны для роботов всех ПС?

И необходимо ли это делать? Или можно оставить только User agent: * ?

Если у вас нет никаких различий в ограничениях для разных роботов поисковых систем, то прописывать отдельно директивы не надо. До 2018 еще был вариант делать раздельно, когда был HOST в Robots.txt, но сейчас после отмены, делать это бессмысленно.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий