Гугл индексирует запрещенные директории?!

Возможно, это так. В свое время это не проверилось, а сейчас уже поздно. Но почему Гугль не удалил весь сайт из кэша, когда обнаружил запрещающий роботс, как это сделал Яндекс?

lika,

А если взглянуть на вопрос с такой стороны - когда робот делал последнее обращение к документам, это было разрешено. Теперь обращения ему запрещены. Он их не делает. Но это ведь не ставит вне закона те копии документов, которые он собрал без нарушения директив.

Другими словами, все, что попало в кэш Гугля, останется там навсегда?

И заставить его выкинуть из своей бызы документы, запрещенные к индексации, не удастся?

Да нет, думаю не навсегда. Насчет запрещенных robots'ом не скажу, но замечено, что отдающие 404 страницы сидят в Supplement results довольно долго - месяцами.

Отсюда можно сделать вывод, что Гугль и Яндекс следуют директивам файла robots.txt по-разному: Яндекс довольно быстро выкидывает запрещенные для индексации документы из базы, Гугль не индексирует запрещенные документы, но из бызы их не вычищает. Или, лучше сказать, вычищает очень медленно: на это уходят месяцы. Так?

А есть ли способ вручную удалить файлы из базы Гугля?

Даже больше года иногда.

http://www.google.com/intl/ru/webmasters/remove.html

Взгляните на примечание.

Alex GT,

Вроде неправильно. Папки надо запрещать двумя слэшами: /advbanner/

http://www.robotstxt.org/wc/exclusion-admin.html

Так тоже закроется.

Инструкция в файле site.ru/robots.txt

Disallow: /advbanner

запретит индексацию всего, что начинается с /advbanner. Будет запрещено, например:

site.ru/advbanner - каталог

site.ru/advbanner.html - страница

site.ru/advbannerpage2.html - тоже страница