А не о#$@ли Гугль?

Блин, не могу найти тот документ, в котором говорилось о том, что если в начале слеш - считать от корня, если нет слеша - от начала любой диретории

Черт!

Придется переделывать структуру, что бы роботы типа Гугля не совались, куда не нужно :(

Тема закрыта ;)

Стандарт который только и может называться документом Вам уже нашли а все остальное не документы а толкования.

Я говорю о документах, размещенных на W3C

Если Вы читали логи то возможно встречали там адрес который Google робот посылает при каждом запросе.

http://www.google.com/bot.html

Ладно, проехали. Закрываем тему :)

Так а чего ж ты тогда поставил тулбар только одного поисковика, а не всех. Лазишь по статистике, а потом удивляешься, что ни с того ни с сего проиндексировало?

Какой еще robots.txt? Какой суд?

На любом нормальном хостинге в контроль панели есть кнопка "Паролирование директорий", которую при минимальном умственном усилии можно все-таки попробовать нажать, а потом выбрать папку, создать пользователя и пароль, и нажать OK.

Кто сказал, что у меня вообще стоит тулбар?

Кто сказал, что я где-то "лажу" и чему-то удивляюсь?

Кто сказал, что я использую хостинг?

И кто сказал, что мне эти директории нужно паролировать?

Saney, не кажется ли вам, что вы пытаетесь рассуждать о том, о чем не имеете малейшего представления, да еще и хамите?

Согласен, понятия никакого не имею, а рассуждаю и хамлю :).

Have a nice day.

ИМХО, уважаемый, на гневные выкрики типа "Да как Гугл посмел", гуглу глубоко наплевать. Все, что хочется закрыть по серьезному, нужно закрывать средствами авторизации а не роботс.тхт

Да и вообще, мне кажется, это вы хамите, хотя вам явно дело говорят.