Речь шла не о том, как Гугль нашел страницу, а о том, почему он ее проиндексировал.
Не очень-то я и расстроился :)
Почему-то остальные участники треда "догадались", о чем я спрашивал...
Мне не нужно закрывать паролем директории. Это раз.
"Да чего ж ты..." (цитата из сообщения Saney) - утверждение, имеющее под собой одни догадки и голословные утверждения (к тому же на бундершафт мы не пили, на "ты" не переходили). Это два.
"Дело говорят"... Какое? "Чего ж ты поставил тулбар"?
Дельное предложение, а как же! ;)
Особенно понравился совет о "минимальном умственном усилии". Но советчик не учел, что для того что бы запароливать директорию, не нужно столь глубоких познаний панелей управления - намного лучше через ssh это делать.
PS: Всем остальным участникам данного треда большое спасибо за указание на мои ошибки по правильному составлению частичных УРЛов в Disallow
Кто сказал, что у меня вообще стоит тулбар?
Кто сказал, что я где-то "лажу" и чему-то удивляюсь?
Кто сказал, что я использую хостинг?
И кто сказал, что мне эти директории нужно паролировать?
Saney, не кажется ли вам, что вы пытаетесь рассуждать о том, о чем не имеете малейшего представления, да еще и хамите?
Ладно, проехали. Закрываем тему :)
Я говорю о документах, размещенных на W3C
Черт!
Придется переделывать структуру, что бы роботы типа Гугля не совались, куда не нужно :(
Тема закрыта ;)
Блин, не могу найти тот документ, в котором говорилось о том, что если в начале слеш - считать от корня, если нет слеша - от начала любой диретории
А при чем здесь http-запрос?
В стандарте ясно написано, что:
Disallow: page
запрещает индексировать как страницы, так и каталоги, начинающиеся с "page".
Но не урл (без имени хоста), начинающийся с "page".
http://www.citforum.ru/internet/search/rbtspec.shtml
Каждая запись должна содержать строки (lines) в форме: "<field>:<optional_space><value><optional_space>". ... значением <value> этого поля должен являться частичный URL, который не должен индексироваться.
Нигде нет упоминания о том, что в строке Disallow должен быть указать путь от корня.
Начинающееся НЕ ОТ КОРНЯ, если нет слеша ("/")
И так 13 тыс раз (на данный момент) ;)
Представляете размерчик фалика?
Я закрыл роботсом, что бы страницы не скачивалиь роботом - т.к. их ну очень много (и постоянно изменяются) - а зачем мне лишний трафик?
