Вопрос по robots.txt

[Удален]
267

Здравствуйте! Подскажите пожалуйста как правильно?

User-Agent: MSNBot
Disallow: /

User-Agent: *
Disallow:
Host: www.site.ru

или

User-Agent: *
Disallow:
Host: www.site.ru

User-Agent: MSNBot
Disallow: /

Или не имеет значения?

zxcvb
На сайте с 26.11.2007
Offline
69
#1

вообще корректно сначала ставить юзерагенты для опр. ботов, а потом юзергагент для всех остальных. а директива Host только для яндекса. так что вот такой вариант:


User-Agent: MSNBot
Disallow: /

User-Agent: *
Disallow:

но это теория из хелпов, практически разницы может и не быть, не проверял.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий