Как писал Saney Все SEO это догадки. И кто первый догадался, тот и папа.
Прежде чем отклонять что-то, надо подумать, а может в этом есть часть правды. По тулбару не индексирует, но это может быть сигналом роботу (как будто-бы кто-то добавил по add_url).
С тулбаром мог зайти твой друг, или еще проще - где-то есть ссылка на эту страницу.
Речь шла не о том, как Гугль нашел страницу, а о том, почему он ее проиндексировал.
Как писал Saney И походу пить не будем, и автографа я не попрошу ;).
Не очень-то я и расстроился :)
Как писал Saney Каков вопрос, такие и ответы.
Почему-то остальные участники треда "догадались", о чем я спрашивал...
Мне не нужно закрывать паролем директории. Это раз.
"Да чего ж ты..." (цитата из сообщения Saney) - утверждение, имеющее под собой одни догадки и голословные утверждения (к тому же на бундершафт мы не пили, на "ты" не переходили). Это два.
"Дело говорят"... Какое? "Чего ж ты поставил тулбар"?
Дельное предложение, а как же! ;)
Особенно понравился совет о "минимальном умственном усилии". Но советчик не учел, что для того что бы запароливать директорию, не нужно столь глубоких познаний панелей управления - намного лучше через ssh это делать.
PS: Всем остальным участникам данного треда большое спасибо за указание на мои ошибки по правильному составлению частичных УРЛов в Disallow
Каждая запись должна содержать строки (lines) в форме:
"<field>:<optional_space><value><optional_space>".
...
значением <value> этого поля должен являться частичный URL,
который не должен индексироваться.
Нигде нет упоминания о том, что в строке Disallow должен быть указать путь от корня.
Как писал Artisan то есть чтобы закрыть то что надо придется явно перечислять все числа потому что согласно стандарту никаких регулярных выражений робот не поймет.
Все SEO это догадки. И кто первый догадался, тот и папа.
Прежде чем отклонять что-то, надо подумать, а может в этом есть часть правды. По тулбару не индексирует, но это может быть сигналом роботу (как будто-бы кто-то добавил по add_url).
С тулбаром мог зайти твой друг, или еще проще - где-то есть ссылка на эту страницу.
Речь шла не о том, как Гугль нашел страницу, а о том, почему он ее проиндексировал.
И походу пить не будем, и автографа я не попрошу ;).
Не очень-то я и расстроился :)
Каков вопрос, такие и ответы.
Почему-то остальные участники треда "догадались", о чем я спрашивал...
Мне не нужно закрывать паролем директории. Это раз.
"Да чего ж ты..." (цитата из сообщения Saney) - утверждение, имеющее под собой одни догадки и голословные утверждения (к тому же на бундершафт мы не пили, на "ты" не переходили). Это два.
"Дело говорят"... Какое? "Чего ж ты поставил тулбар"?
Дельное предложение, а как же! ;)
Особенно понравился совет о "минимальном умственном усилии". Но советчик не учел, что для того что бы запароливать директорию, не нужно столь глубоких познаний панелей управления - намного лучше через ssh это делать.
PS: Всем остальным участникам данного треда большое спасибо за указание на мои ошибки по правильному составлению частичных УРЛов в Disallow
Кто сказал, что у меня вообще стоит тулбар?
Кто сказал, что я где-то "лажу" и чему-то удивляюсь?
Кто сказал, что я использую хостинг?
И кто сказал, что мне эти директории нужно паролировать?
Saney, не кажется ли вам, что вы пытаетесь рассуждать о том, о чем не имеете малейшего представления, да еще и хамите?
Ладно, проехали. Закрываем тему :)
Я говорю о документах, размещенных на W3C
Черт!
Придется переделывать структуру, что бы роботы типа Гугля не совались, куда не нужно :(
Тема закрыта ;)
Блин, не могу найти тот документ, в котором говорилось о том, что если в начале слеш - считать от корня, если нет слеша - от начала любой диретории
А при чем здесь http-запрос?
В стандарте ясно написано, что:
Disallow: page
запрещает индексировать как страницы, так и каталоги, начинающиеся с "page".
Но не урл (без имени хоста), начинающийся с "page".
http://www.citforum.ru/internet/search/rbtspec.shtml
Нигде нет упоминания о том, что в строке Disallow должен быть указать путь от корня.
Ключевое слово начинающиеся,
Начинающееся НЕ ОТ КОРНЯ, если нет слеша ("/")
то есть чтобы закрыть то что надо придется явно перечислять все числа потому что согласно стандарту никаких регулярных выражений робот не поймет.
Disallow: /stat/0/page/
Disallow: /stat/1/page/
Disallow: /stat/2/page/
Disallow: /stat/3/page/
...
Disallow: /stat/999/page/
И так 13 тыс раз (на данный момент) ;)
Представляете размерчик фалика?
А еще проще добавить в те документы которые не надо индексировать META метки NOINDEX и другие из этого набора.
Я закрыл роботсом, что бы страницы не скачивалиь роботом - т.к. их ну очень много (и постоянно изменяются) - а зачем мне лишний трафик?