Ну почему же? Вот выдержка:
http://www.robotstxt.org/orig.html
Я конечно не супер знаток английского, но слова visit и index имеют разные значения, и если верить упомянутой выше ссылки, то роботы не должны именно шариться, а не просто не вносить страницы в индекс. Поправьте если в чем-то не прав.
BrokenBrake, от вашего согласия, ничего не меняется. У меня в дополнительных ссылках сайта висит страница, которая закрыта в robots.txt и закрыта давно. То что бот шарится по сайту, в том числе и по закрытым страницам, для вас новость? Да, в индексе такие страницы скорее всего не появятся, но шарится он все равно будет.
moihosting.ru, чтобы вы не атаковали меня в личке и в аське, объясняю. Вы считаете, что если у меня есть лицензия на антивирус Касперского, или любой другой продукт этой компании, то они прямо таки испытают огромную радость, если я им пришлю логи с сервера. Вам самому не смешно? Отвечать не надо, не хочу здесь дискуссию разводить. В чем смысл набивать посты, не знаю, но вы сегодня отметились в огромном количестве тем. Все. Остальные ваши сообщения будут проигнорированы.
moihosting.ru, то что вы решили количество постов набить, я уже понял. Только пожалуйста, не в моих темах.
moihosting.ru, и что за пургу вы прогнали? Вообще в тему решили не въезжать?
А гуглу по барабану, он сам свои правила устанавливает в последнее время. Запросы автоматически в формы вставляет, robots.txt ему тоже уже не правило.
sabotage, я так и подумал, хотел убедиться :)
Нормально.
egorych, понятно, я просто думал может офф. инфа была на этот счет. У меня для одного ресурса ссылки сайта поменялись, причем некоторые из них теперь ведут на страницы закрытые через robots.txt :)
Strom, ну ну, вы насоветуете, до больницы, как химик говорю.
