Как закрыть от публичного просмотра роботс?

А зачем?...

Определить IP всех роботов, которые читают. Отображать содержимое через скрипт, предварительно определяя IP клиента. Все.

:D Легкий такой вариант ... ТС, никак.

В принципе реально это сделать через .htaccess, но будет довольно гемморно...И то не полностью эфективно.. Поэтому назревает вопрос - стоит ли свеч эта игра? :)

Что там скрывать то?

Наверно ТСу кто-то по секрету сказал что через роботс можно сломать джумлу, вот он и страхуется.

ну а если допустим на сайте есть директории, которые не должны индексироваться и о которых должен знать только админ и пару человек? как эту директорию закрыть от ПС и одновременно не палить в роботс?

В этом случае проще сделать ограничение доступа на уровне движка, чем заморачиваться с robotx.txt

Не палить на нее ссылки и делать - "403 Доступ запрещен", если что. Если сайт нормальный, и его делает грамотный человек, то ему в robots.txt нечего скрывать, т.к. все уже должно быть защищено заранее!

отдавать роботс через php

в котором замутить клоакинг по юзерагенту с именами нужных ботов...

Всем спасибо! Реализовали этим методом... Сомневались малость, но теперь успешно сделали + роботы уже прошлись норм все!