Индексируется запрещеный урл

J
На сайте с 08.06.2006
Offline
844
356

В robots.txt урл запрещен, но вот случайно увидел, что Гугл индексирует этот урл.

В чем причина?

K
На сайте с 31.01.2001
Offline
737
#1

Если запрет стоит давно, обратите внимание на разницу: "индексирует" и "знает URL". Вот втором случае в результатах поиска выдается только URL и ни одного байта из содержания страницы. Скорее всего на этот URL есть внешние ссылки, поэтому Google про него знает, но не скачивает.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
J
На сайте с 08.06.2006
Offline
844
#2

это урлы страници поиска

все типа "ничего не найдено"

и страници автоматического перехода на сайты клиентов

одним словом мусорные страници - потому и закрыты от роботов

"по шапке" гугл не даст за наявность таких страниц?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий