Директива Host

Т.е. вы считаете, что в этой ситуации:

любой робот, отличный от Yandex, дойдёт до Host и прекратит чтение файла robots.txt? И как он вообще дойдёт до неё, если user-agent не его?

Или вы имели в виду такой вариант:

Во втором случае согласен, что робот (не Y) глюканёт и скажет: good bye ...

Новые правила от 21 числа

новость здесь - http://webmaster.ya.ru/?ncrnd=3892

Использование robots.txt - http://help.yandex.ru/webmaster/?id=996567

vinic

Все правильно у вас написано, такая конструкция работает на ура;)

ну да :) яндекс то слопает без проблем

кстати, пробегала тут инфа (самому лень проверять), что надо писать User-Agent:

вроде как у человека решились проблемы, после того как слово agent исправили с большой буквы.

и делайте отдельную секцию для яндекса, хуже от этого точно не будет.

Извиняюсь за немного оф, а для гугла тогда как писать?

У меня всю жизнь и Гугл хавает нормально )

Юзер агент: *

Хост - в конце файла. Все чики пики ;)

Файл robots.txt - это стандарт, в котором важны каждая буква или символ. Да, многие дополняют этот стандарт, но его никто не отменял.

Правильно писать - User-Agent! Agent нужно писать с большой буквы. Если вы пишете с маленькой - хоть запишитесь, все будут игнорировать.

У вас Google понимает Host ??? Поздравляю, однако )))

не глюканет, а исполнит все инструкции, которые для него валидны!

kimberlit, Гугл не воспринимает как ошибку в конце строки. Вникай в суть. Я не говорил что гугл понимает хост и прекрасно знаю что хост - изобретение Я. Я проконстатировал факт. А вы, я смотрю, не можете не воспользоваться моментом...