Google игнорирует robots.txt...

А в таком случае налицо неверная интерпретация имеющихся фактов в заголовке темы. ;)

Заголовок исправил.

Упс.. а этот форум не умеет править основной заголовок??

Хм. Он просто обратился к директории или в индекс загнал?

Робот запросил файл index.php и, как я полагаю, прочитал ответ скрипта. Что он сделал с этой инфой потом - мне неизвестно.

Я о другом, робот не считывает содержимое robots.txt перед каждым переходом по ссылке, а считает, что загрузки содержимого этого файла раз в сутки (?) достаточно.

Никого не обвиняю, ничего не хочу, просто информация! Видимо, решение проблемы простое, дождаться, когда гугл обновит инфу о файле robots и только тогда загружать неиндексируемый контент.

гугля редко смотрит в роботс.тхт, о чем недавно было написано на каком-то из официальных блогов. к тому же робот имеет свое мнение по поводу того загонять в индекс страницу или нет - например, если на закрытую роботсом страницу стоит ссылка, гугля запросто проигнорирует ваши инструкции...

Понятно, вопросов больше нет.