Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по роботсу

ВC
На сайте с 02.02.2006
Offline
463
Владимир-C
388

Файл robots.txt у моего сайта состоит всего из двух строк:

User-agent: *

Disallow: /forum/

Host: site.ru

То есть он запрещает индексацию форума и определяет главное зеркало. Сличил с руководством Яндекса и никаких нарушений не усматриваю. Но вот что пишет ГУГЛЬ:

Анализ кэшированного robots.txt

Host: site.ru Синтаксис не распознается

Может это специфическая инструкция Яндекса, не принимаемая Гуглем?

ML
На сайте с 14.06.2006
Offline
109
Max_lg
#1

Директиву Host Гугль не понимает.

K
На сайте с 31.01.2001
Offline
737
Kost
#2

User-agent: Yandex

Disallow: /forum/

Host: site.ru

User-agent: *

Disallow: /forum/

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
K. Ermakov
На сайте с 10.12.2004
Offline
328
K. Ermakov
#3
Владимир-C:
Может это специфическая инструкция Яндекса, не принимаемая Гуглем?

Вы совершенно правы.

Kost привёл пример файла robots.txt, на который и Google не будет ругаться.

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий