Почему /robots.txt открывается как c www, та и без?

Предположу что файлы обрабатываются Nginx и не отдаются на обработку Апачу. Ну или в эту сторону копать.

Ууточню - статические файлы. Часто nginx настраивается на самостоятельную обработку статики, например txt, jpg, png файлов а обработку сценариев часто уже возлагают на apache.

В файле .htaccess содержатся инструции для apache, но не для nginx.

---------- Добавлено 28.02.2014 в 14:44 ----------

В .htaccess точно нет упоминания robots.txt до редиректа? Очень похоже на настройку склейки двух зеркал при котором специально убирается редирект с robots.txt для домена, который хотят склеить, чтобы робот мог получить файл и прочитать директиву Host

Давай начнём с этого. Содержимое в студию.

Задал хостеру вопрос. Вот что ответили, но я так и не понял как решить проблему.

---------- Добавлено 03.03.2014 в 15:16 ----------

В .htaccess все в порядке. Забыл написать, что сайт на старом хостинге работал нормально.

Проблема началась когда переехал на TimtWeb

Вам хостер вполне внятно объяснил.

Что бы запрос robots.txt попал на обработку к apache, файл с таким именем должен отсутствовать, т.е. его нужно просто переименовать, например в new_robots.txt и тогда будет возможность применить к нему директивы .htaccess.

Нужно добавить RewriteRule ^robots.txt new_robots.txt сразу после правил для редиректа на www.

Должно получиться что-то вроде этого:

RewriteEngine On



RewriteCond %{HTTP_HOST} !^www.example.com$ [NC]

RewriteRule (.*) http://www.example.com/$1 [L,R=301]



RewriteRule ^robots.txt new_robots.txt



RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^ index.php [L]

RewriteEngine On



RewriteCond %{HTTP_HOST} !^www.example.com$ [NC]

RewriteRule (.*) http://www.example.com/$1 [L,R=301]



RewriteRule ^robots.txt new_robots.txt



RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^ index.php [L]

Спасибо, все заработало так

RewriteRule ^robots.txt .robots

Переименовал в .robots