Яндекс и 301 редирект

Bethub
На сайте с 19.11.2009
Offline
84
2216

Товарищи подскажите, если через .htaccess сделать 301 редирект на новый домен, имеет ли смысл на старом домене прописывать в robots.txt новый хост? Много раз слышал о том, что при переезде нужно делать и то и другое, но если в htaccess прописан редирект, то при анализе robots в панели вебмастера яндекса, вылазит следующее сообщение: "Сервер отвечает редиректом на запрос /robots.txt"

Отсюда собственно и вопрос, действительно ли при редиректе яндекс не может получить доступ к robots.txt или все таки он как-то его читает?

DP
На сайте с 22.02.2015
Offline
32
#1

При переезде Яндекс советует сначала переехать через robots.txt, а уже потом, после того как зеркало перенесется (что можно будет увидеть в Яндекс.Вебмастере) делать редиректы.

В данном случае Яндекс действительно не сможет прочитать robots.txt, потому что сам по себе стандарт robots.txt подразумевает его распространение именно на том домене, на котором он лежит физически.

Когда-то руководитель группы сервисов для веб-мастеров Компании "Яндекс"
paveldvlip
На сайте с 16.01.2007
Offline
155
#2

А что вам мешает не редиректить файл robots.txt?

TopSite (/ru/forum/comment/15645635) - программа определения позиций сайта, массовой проверки всех видов частотности, сбора позиций конкурентов и кластеризации запросов. HTML-отчёты.
JS
На сайте с 06.10.2009
Offline
97
#3

Я всегда делал так, в файле .htaccess:

<FilesMatch "robots.txt$">

RewriteEngine off

</FilesMatch>

paveldvlip
На сайте с 16.01.2007
Offline
155
#4
JesterSoft:
Я всегда делал так, в файле .htaccess:
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>

Аналогично.

Bethub
На сайте с 19.11.2009
Offline
84
#5
JesterSoft:
Я всегда делал так, в файле .htaccess:
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>

Благодарю, раньше не знал как это сделать)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий