Подмена редирект ссылок из robots.txt - клоакинг?

если я правильно понял, то бот редиректится на главную, это клоакинг. Вообще бот не должен будет запрашивать запрещенные к индексации в robots.txt файлы.

А если все тоже самое, но ошибку доступа ему выдавать (error 403)?

и так можно, хотя это опять-таки "не честно" по отношению к поисковикам, должно хватить и обычного disallow, можно выдавать любые коды 404 (не найден), 401 (нет прав), 500 (ошибка сервера), хоть 200 (просто без содержания документа) :) (только не 301, а то эффект будет обратный)

То что вы у себя на сайте накуралесили вы только себе проблему создали, имхо.

Проще надо делать и кровлеры к вам потянутся. Эти выкрутасы с редиректами, это болезнь всех начинающих вебмастеров, я тоже помню этой ерундой занимался... :)

Спасибо Zlo_606ep за полезные ответы.

Может быть я это сложно описал, но фактически выдавать поисковику на запросы disallow путей ошибку 403 вполне нормально.

А сделал я это что бы другие кровлеры не лазали где не следует, но что бы гугла не разозлить уточнил эти вопросы по реализации.