Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Файл robots.txt не будет учтён роботом Яндекса

Adrian2012
На сайте с 29.11.2012
Offline
127
Adrian2012
284

Здравствуйте!

При попытке посмотреть robots.txt сайт перебрасывает на страницу 404 с приставкой в адресе - index.php

Не подскажите в чем может быть проблема?

мой htaccess: 

Options +Includes +FollowSymLinks -Indexes

DirectoryIndex index.php



RewriteEngine on 

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d



RewriteRule ^(.*)$ index.php [L,QSA]

RewriteRule .*\.(txt|csv)$ index.php [R,NC] 



#RewriteCond %{HTTPS} !on

#RewriteCond %{REQUEST_URI} (profile|admin)

#RewriteRule ^(.*)$ https://%{SERVER_NAME}%{REQUEST_URI} [R,L]



<Files ~ "\config.ini$">

deny from all

</Files>
VulkanPartner
На сайте с 27.03.2014
Offline
91
VulkanPartner
#1
Adrian2012:


RewriteRule .*\.(txt|csv)$ index.php [R,NC]

Очевидно из-за этой строки, надо добавить как-то его в исключение, именно robots.txt

Вроде так (но сам не проверял): 

<FilesMatch "robots.txt$">  

RewriteEngine off  

</FilesMatch>

Или если необходимости нет, то уберите оттуда вообще txt.

https://perestroika.team/ru/ (https://perestroika.team/ru/) Perestroika Affiliates- ведущая гемблинг-партнерка. RevShare - до 60%. CPA - до 150$.
Adrian2012
На сайте с 29.11.2012
Offline
127
Adrian2012
#2
VulkanPartner:
Или если необходимости нет, то уберите оттуда вообще txt.

Спасибо за ответ. А для чего он там может быть указан? Понятия не имею :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий