Форум Поисковые системы Google

Google и robots.txt

[Удален]
545

Чем можно объяснить вот такое: http://www.google.com/search?q=allinurl:www.allprices.ru&hl=ru&lr=&ie=UTF-8&inlang=ru&start=300&sa=N&filter=0 при условии, что cgi-bin закрыта в robots.txt ? Или я чего-то не понимаю?

L
На сайте с 06.09.2001
Offline
67
Lolo
#1

http://www.searchengineshowdown.com/features/google/unindexed.shtml

TrafficHolder.com - Buy/Sell Adult Traffic (http://www.trafficholder.com/aff.php?samuelapirrone)
Nikolai Popkov
На сайте с 07.06.2001
Offline
291
Nikolai Popkov
#2

обратите внимание - там нет внизу ссылок "Сохранено"

партнерские программы (http://www.ebanners.ru/viewforum.php?f=7), словарь термины SEO (http://www.ebanners.ru/viewtopic.php?t=548) Форум маркетинг (http://www.reclama.su/) Reclama.Su, обмен ссылками (http://www.ebanners.ru/viewforum.php?f=13), Reklama.SU: контекстная реклама (http://www.reklama.su/) по цене Яндекса+продвижение за результат
L
На сайте с 06.09.2001
Offline
67
Lolo
#3
Как писал Nikolai Popkov
обратите внимание - там нет внизу ссылок "Сохранено"

это немного не то. Можно и вполне индексируюмую страницу от кэширования оградить.

[Удален]
#4

Спасибо, понял. А то увидел и удивился... Маловато с Гуглём работать приходилось.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий