Эта версия роботса уже больше недели на сайте.
Однако все равно ведь в гест лезет
Т.е. робот "I" лезет в директорию guestbook уже при наличии текущего robots.txt? Не могли бы Вы продемонстрировать тут (для чистоты эксперимента) строчки из логов, после того, как он полезет опять?
Однако в роботсе прописано:
User-agent: *
Disallow: /cgi-bin
Disallow: /guestbook
Почему он лезет в guestbook?
Вообще, это элементарное свинство со стороны робота Яндекса. Оказывается, не только роботу "D" на robots.txt начхать, но уже и самому индексатору "I". Lioness, он перед тем, как забирать документы, вообще к robots.txt обращался?
2. Используется ли ссылочное ранжирование ?
1. Да
2. Да
Жаль, партии любителей пива на этот раз нету. :)
Давно.
Весь вопрос в том, как определяется "топовость" находки из каталога.
Вообще-то, по-моему мнению, вежливый робот обязан сверяться с файлом robots.txt во время каждого своего очередного визита.
Однако все равно ведь в гест лезет
Т.е. робот "I" лезет в директорию guestbook уже при наличии текущего robots.txt? Не могли бы Вы продемонстрировать тут (для чистоты эксперимента) строчки из логов, после того, как он полезет опять?
Особенности чего?
Ну, не знаю, что было написано тогда, а сейчас директория guestbook действительно запрещена для индексирования:
http://kako.yandex.ru/cgi-bin/test-robots?host=http%3A%2F%2Fwww.sessia.net%2F
Когда была выложена текущая версия файла robots.txt?
За то, что не читая новости на этом сайте, плюёте в его ранимую душу. :)
User-agent: *
Disallow: /cgi-bin
Disallow: /guestbook
Почему он лезет в guestbook?
Вообще, это элементарное свинство со стороны робота Яндекса. Оказывается, не только роботу "D" на robots.txt начхать, но уже и самому индексатору "I". Lioness, он перед тем, как забирать документы, вообще к robots.txt обращался?