Все вопросы по robots.txt - 2

Hitechrem
На сайте с 02.01.2018
Offline
27
#371
Brat_Sergij #:

Запомните, идеальный robots для гугла выглядит таким образом:

User-agent: *

Всё, ничего большего! Об этом не раз говорил Мюллер: не надо закрывать страницы в роботсе, просто делайте их noindex. Робот должен перейти на страницу, чтобы понять что за она и прочитать директивы в ней.

Гугл шарит.  А яндекс лезет во все щели как дурной, потом много ошибок 🤣

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий