robots.txt - 404

1. А он точно там есть?

2. htaccess или конфиг nginx для этого сайта покажите

Так точно, конечно есть!

.htaccess самый простой под WP.

# BEGIN WP
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WP

# Custom caching
<IfModule mod_expires.c>
ExpiresActive On
ExpiresByType application/javascript "access plus 1 year"
ExpiresByType text/javascript "access plus 1 year"
ExpiresByType text/css "access plus 1 year"
ExpiresByType image/gif "access plus 1 year"
ExpiresByType image/jpeg "access plus 1 year"
ExpiresByType image/png "access plus 1 year"
</IfModule>
<IfModule mod_headers.c>
<FilesMatch .*\.(js|css)$>
Header set Cache-control: private
</FilesMatch>
<FilesMatch .*\.(gif|jpg|png)$>
Header set Cache-control: public
</FilesMatch>
</IfModule>
<IfModule mod_setenvif.c>
BrowserMatch "MSIE" force-no-vary
BrowserMatch "Mozilla/4.[0-9]{2}" force-no-vary
</IfModule>
FileETag MTime Size
<ifmodule mod_expires.c>
<filesmatch ".(jpg|jpeg|gif|png|ico|css|js)$">
ExpiresActive on
ExpiresDefault "access plus 1 month"
</filesmatch>
</ifmodule>
# END caching

# Gzip
<IfModule mod_deflate.c>
AddOutputFilterByType DEFLATE text/html text/plain text/xml application/xml application/xhtml+xml text/javascript text/css application/x-javascript
BrowserMatch ^Mozilla/4 gzip-only-text/html
BrowserMatch ^Mozilla/4.0[678] no-gzip
BrowserMatch bMSIE !no-gzip !gzip-only-text/html
<ifmodule mod_gzip.c>
mod_gzip_on Yes
mod_gzip_item_include file \.js$
mod_gzip_item_include file \.css$
</ifmodule>
</IfModule>
# END Gzip

Пробовал оставлять только WP код - без результатов.

В написании имени файла не могли ошибиться? У меня частенько так бывает (люблю писать robotx вместо robots).

Не смешно... Я весь вечер потратил на это, не могу разобраться.

Ну так, в ВП не все так просто :)

Есть два варианта

Первый - ставим плугин для ВП который формирует роботс (без заливки оного по фтп)

http://wordpress.org/extend/plugins/pc-robotstxt/

Или второй (раз уж плугин не ставим)

RewriteRule ^robots.txt - [L]

Добавляем и гуляемся в .htaccess

Та дело в том что robots.txt есть, но почему то ошибка 404. Но всетаки решил хотябы попробовать этот плагин что-бы увидеть результат, но оказался неизменным... (прикрепил скрин)

Гуляемся это как ? :)

Какой RewriteRule, если ответ идёт от Nginx-а? Nginx перехватывает все обращения к статике (в т.ч. по расширению .txt), до Apache они не доходят.

Ruson, проверьте наличие файла (регистр, расширение, расположение в нужном каталоге, на нужном сервере - создайте файл blabla.php и посмотрите, откроется ли он в браузере), и если всё верно - запрос в техподдержку.

В общем проблему наверное нашел, только еще не понимаю ее до конца. На самом деле перепроверил не других сайтах расположенных на этом же хостинге, проблема оказалась та же самая!

Причем там не только WP, но есть сайты и на joomla и на чистом HTML.

Для сравнения зашел глянул так-же на сайтах, которые расположены на хостинге GoDaddy, оказывается там все нормально.

Вывод один - это все благодаря хостингу чтоли?, Просто раньше они отлично работали и никогда не было проблем с robots

А похожие имена типа robo.txt пробовали делать и к ним обращаться?

blablabla.php - прекрасно открылся. а вот blablabla.txt не захотел, та же самая 404