Почему Я загружает закрытые файлы?

Потому что надо ЧИТАТЬ, что такое robots.txt и для чего он.

ОН даёт рекомендацию для робота, а не руководит им.

Яндекс загрузит страницы, но в индексе не покажет.

Хамить обязательно? Хотя чего я жду на форуме?...

Цитата из яндекса:

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву

'Disallow' http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Тут вполне четко написано: запретить доступ.

на деле - это значит "не выкладывать контент в выдачу". но посещать он, да и гугл тоже, все равно будут, чтоб посмотреть что вы там прячите.

Жаль.. до последнего надеялась, что их оттуда убрать можно.

Только гугл ещё и выложит в индекс с пометкой "Содержимое закрыто robots.txt" но выдавать будет как миленький.

Закрытое от индексации всё равно индексируется, но не учитывается в ранжировании (по словам ПС).

Также страницы, ссылки на которые находятся на "закрытых" адресах, тоже будут проиндексированы.

Рискну предположить, что робота просто неоптимально делать так, чтоб он мог выборочно что-то жрать. Он жрёт всё, а затем уже ненужное отсеивается.

п.с.

Из гугла можно удалять целые каталоги, заново он редко ест закрытые адреса. Это чтоб из выдачи пропало.

С яндексом похуже, но тоже можно.

Вообще можно и запретить в роботсе и сделать через PHP считывания юзерагента, если это бот то ему 404 ошибку и всё.

А вы ссылки на них боту показали. И вот чувак задумался о том, что на некоторых страницах PR (которого могло бы быть чуть больше на продвигаемых).

и что вам не нравиться?

в индексе 0 страниц.

А так и Я и G просматривают вообще все файлы и директории...

Закрытие от индексации не делает контент невидимым, так же как и ссылки, робот всё равно его просканит.