1. Да
2. Да
Жаль, партии любителей пива на этот раз нету. :)
Давно.
Весь вопрос в том, как определяется "топовость" находки из каталога.
Вообще-то, по-моему мнению, вежливый робот обязан сверяться с файлом robots.txt во время каждого своего очередного визита.
Т.е. робот "I" лезет в директорию guestbook уже при наличии текущего robots.txt? Не могли бы Вы продемонстрировать тут (для чистоты эксперимента) строчки из логов, после того, как он полезет опять?
Особенности чего?
Ну, не знаю, что было написано тогда, а сейчас директория guestbook действительно запрещена для индексирования:
http://kako.yandex.ru/cgi-bin/test-robots?host=http%3A%2F%2Fwww.sessia.net%2F
Когда была выложена текущая версия файла robots.txt?
За то, что не читая новости на этом сайте, плюёте в его ранимую душу. :)
Вообще, это элементарное свинство со стороны робота Яндекса. Оказывается, не только роботу "D" на robots.txt начхать, но уже и самому индексатору "I". Lioness, он перед тем, как забирать документы, вообще к robots.txt обращался?
