Robots и Host

Artem.Gor
На сайте с 06.06.2006
Offline
69
283

Помогите запутался, если в роботсе такое содержимое

User-Agent: *

Disallow:

Host: www.site.ru

Это означает индексировать только зеркало с www ?

fandaru
На сайте с 28.11.2007
Offline
11
#1

вроде www.site.ru и sait.ru - один из них сайт, а другой зеркало

Регистрация в каталогах (/ru/forum/206402)
kimberlit
На сайте с 13.03.2007
Offline
370
#2
Artem.Gor
На сайте с 06.06.2006
Offline
69
#3
kimberlit:
читаем там 4 пункт (про Host)

Пустая директива Disallow: перед Host - это корректно?

Просто здесь http://help.yandex.ru/webmaster/?id=996567 я примера пустой директивы не увидел.

ARCOS
На сайте с 15.09.2005
Offline
131
#4

Artem.Gor, Как же, а вот это, что по Вашему?

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # тоже что и Allow: /
Artem.Gor
На сайте с 06.06.2006
Offline
69
#5
ARCOS:
Artem.Gor, Как же, а вот это, что по Вашему?

извините просмотрел, благодарю за ответы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий