Правильный ли robots.txt?

nuvo, ну у нас все роботсы программные ;) В зависимости от потребностей. Ошибка скорее всего. Вообще зачем роботс прятать?

превентивная мера защиты от хацкеров и для других интересных вещей

nuvo, жесть какая-то

nuvo, вы скорее всего переоцениваете степень конфиденциальности информации в robots.txt.

для поисковиков делаем запрет а для других проверяющих робот - открыто - нет никаких запретов, или они могут маскироваться под роботов пс?

Конечно могут, если захотят.

Это называется паранойя.

Имеет смысл запрещать разве что .htaccess:

# Запуск mod_rewrite

RewriteEngine on

#запрет просмотра .htaccess

RewriteRule ^.htaccess$ - [F]

Почему-то мне казалось, что на запрос подобных файлов сервер выдает ю дон хев пермишн и т.д. по дефолту. Будем знать и прогрессировать свою паранойю 8-)

Из серии "ржунимагу" ...

Хацкеры будут ломать ваш сайт используя сведения из robots?

Советую спрятать тогда и css от посторонних глаз, а то вдруг ...

Это уже зависит от настроек сервера.

По умолчанию в стандартном httpd.conf прописано:

<FilesMatch "^\.ht">

  Order allow,deny

  Deny from all

</FilesMatch>

Но! Кто мешает злому/тупому/хитрому хостеру переписать httpd.conf ?