Robots & Google

А если вопросик убрать?

А гуглу по барабану, он сам свои правила устанавливает в последнее время. Запросы автоматически в формы вставляет, robots.txt ему тоже уже не правило.

Не согласен. Во-первых, приведенный пример не запрещает доступ, собственно, к /get.php. Во-вторых, если бы гуглу было по барабану, зачем он предоставлял бы в инструментах вебмастера генератор robots.txt?

BrokenBrake, от вашего согласия, ничего не меняется. У меня в дополнительных ссылках сайта висит страница, которая закрыта в robots.txt и закрыта давно. То что бот шарится по сайту, в том числе и по закрытым страницам, для вас новость? Да, в индексе такие страницы скорее всего не появятся, но шарится он все равно будет.

Хм, насчет того, что шарится, вообще-то, не знаю. Не буду спорить. Логи смотреть лениво, а моя система статистики не предоставляет подробных данных по роботам.

Дак и роботс никому не запрещает шарится по страницам

Ну почему же? Вот выдержка:

http://www.robotstxt.org/orig.html

Я конечно не супер знаток английского, но слова visit и index имеют разные значения, и если верить упомянутой выше ссылки, то роботы не должны именно шариться, а не просто не вносить страницы в индекс. Поправьте если в чем-то не прав.

Чтож (

Придется в скрипте делать проверку...

if(!$_SERVER['HTTP_USER_AGENT'] ) ...

Какбэ роботы и иные посетители сайта вам ничего не должны

semenov, как бы стандарты так, ради прикола придумывают, ага?