Помогите разобраться с robots.txt

Конечно, логичнее, чтобы их вообще не было.

Конечно логичнее. И для этого нужно создать какое то правило в htaccess.

Я так понимаю должно быть примерно это:

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^([a-zA-Z0-9_-]{1,225}).html$ $1.php [L]

RewriteRule ^([a-zA-Z0-9_-]{1,225}).htm$ $1.php [L]

Но насколько это верно не знаю, надеюсь на помощь знатоков.

Разрешения и запрещения на индексацию берутся всеми поисковыми системами из файла robots.txt, находящегося в корневом каталоге сервера. Запрет на индексацию ряда страниц может появиться, например, из соображений секретности или из желания не индексировать одинаковые документы в разных кодировках. Чем меньше ваш сервер, тем быстрее робот его обойдет. Поэтому запретите в файле robots.txt все документы, которые не имеет смысла индексировать (например, файлы статистики или списки файлов в директориях). Обратите особое внимание на CGI или ISAPI скрипты - робот индексирует их наравне с другими документами.

Спасибо за информацию, но я совсем о другом спрашивал

Игорь Скляр, что мешает сделать так?:

Disallow: /*.php

Это заперт на индексацию всех ссылок которые содержат буквы php.