nofollow

а чем он от самого белого отличается?

тем более на этом сайте есть и ссылки, которые вроде бы и не ссылки :)

отсутствие кеша и не влияние на ранжирование - вещи не связанные

если есть в выдаче, то уже влияет!

А кто говорил что связанные? И давайте тогда определимся о каком влиянии вы говорите. И что есть в выдаче? Контента нету, титла нету. Есть лишь адрес страницы и возможные обратные ссылки на нее.

disallow отработал свою функцию, а именно запретил доступ роботов к странице. Они на ней не были. Адрес ссылки прочитали на разрешенной странице, видимо.

Что вам не нравится? Что урл страницы светится в выдаче и как-то влияет на ранжирование? Ну так disallow за это не отвечает.

---------- Добавлено 20.05.2012 в 18:01 ----------

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

а то что страницы отдают 404 - это тоже не важно :)

если есть в выдаче значит ранжируется и следовательно влияет :)

Так боты не были на странице, откуда они знают 404 там или нет? Вы же сами запретили им посещение этой страницы.

Сам факт что урл в выдаче есть, с этим никто не спорит, я привел справку гугла в качестве аргумента, что это нормально.

Что вас беспокоит? Что запрещенная disallow-ом страница займет позиции? О каком еще влиянии может идти речь?

были :)

роботы не обращают внимания на роботс

логи-то я вижу :)

Опять вы к словам придираетесь. Разговор то про факт работы disallow. А тут вопрос терминологии уже, само посещение ботом страницы не равно ведь индексации и работе алгоритмов верно?

Ну может и были, но не проиндексировали контент, и соответственно не учли что там отдает сервер, 404 или что другое.

Вы запретили страницу, и гугл не учел ее содержимое, что не так?

В выдаче информация извне этих закрытых страниц.

Выходит так, что гугл не проиндексировал содержимое страниц, которые вы хотели чтобы он не проиндексировал. Но при этом вы недовольны и делаете заключение что запрет не работает.

Абсурдно не так ли?

п.с. User-agent и подделать можно.

ip не подделывается

но добавил в результаты поиска - разве это не абсурд?

В который раз, так и работает гугл, ссылку на справку я давал.

Я не считаю это абсурдным, ибо контент страницы в индекс не попал. А если не хотите чтобы и просто ссылка не попала - не оставляйте ссылок на эти страницы, все логично.

А функция disallow не отвечает за попадания в индекс урла страницы и расчета обратных ссылок на этот урл. Dissalow блокирует сканирования страницы и индексирования контента на нем. Это и происходит. Заходят при этом боты или нет, вопрос не в тему, ибо по факту что нужно было то и произошло.

Урл по сути тоже контент. Не предоставляйте его гуглу (на разрешенных страницах), его в выдаче и не будет. Что даете то и в выдаче.

Так что запрет в robots работает и делает именно то что нужно. Урлы индексируются вне зоны компетентности robots и по этому утверждать что в этом виноват именно он - неверно.

Именно этот вопрос я хотел бы закрыть. А спорить про целесообразность гугла индексировать урлы мне не интересно. Это не касается ни топика вообще, ни моего высказывания из-за которого разгорелась эта дискуссия.

У вас есть для этого отдельный топик, там можете и сетовать по этому поводу.