Яндекс не видит Robots.txt при 301 редиректе

war357159
На сайте с 03.11.2009
Offline
257
2876

Настроили два месяца назад 301 редирект со старого сайта (рф) на новый (ру).

В файле Robots.txt главное зеркало прописали на обоих хостингах.

Сделали вроде все правильно. Сам редирект работает.

Но склейки нет уже два месяца. В выдаче продолжают болтаться оба сайта. Позиции продолжают падать.

Посмотрел в Яндекс.Вебмастере.

Для старого сайта, в разделе "Файл Robots.txt" пишет что:

"Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление."

Получается что Яндекс считает что он отсутствует и директиву Host соответственно не видит.

Где ни читал про настройку правильного 301 редиректа, эта проблема не рассматривается. Сейчас в .htaccess прописано:

Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) http://******.ru/$1 [R=301,L]

(старый домен - Рф)

Как сделать, что бы на файл Robots.txt редирект не распространялся и главное - надо ли это делать?

Подпись ➤
serdget
На сайте с 24.01.2012
Offline
84
#1
war357159:
Настроили два месяца назад 301 редирект со старого сайта (рф) на новый (ру).
В файле Robots.txt главное зеркало прописали на обоих хостингах.
Сделали вроде все правильно. Сам редирект работает.

Но склейки нет уже два месяца. В выдаче продолжают болтаться оба сайта. Позиции продолжают падать.

Посмотрел в Яндекс.Вебмастере.
Для старого сайта, в разделе "Файл Robots.txt" пишет что:
"Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление."
Получается что Яндекс считает что он отсутствует и директиву Host соответственно не видит.

Где ни читал про настройку правильного 301 редиректа, эта проблема не рассматривается. Сейчас в .htaccess прописано:



(старый домен - Рф)

Как сделать, что бы на файл Robots.txt редирект не распространялся и главное - надо ли это делать?

/ru/forum/777865

/ru/forum/351016

Смешные запросы (http://intersnet.ru/publ/internet/smeshnye_zaprosy_v_yandex_i_google/41-1-0-127) в поисковых системах.
war357159
На сайте с 03.11.2009
Offline
257
#2

Похоже на то что надо. Спасибо. А то я обгуглился.

Видимо попробую так:


<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>
Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) http://****.ru/$1 [R=301,L]



---------- Добавлено 05.03.2013 в 14:33 ----------

поменял... но редирект все равно происходит (((

ввожу в строке

http://***.рф/robots.txt редиректит на

http://***.ru/robots.txt

но в Яндекс.Вебмастере стало видеть правильный Роботс. И это главное.

Фиг с ним, пусть так и будет.

Но в Хелпе Яндекса про переезд на новый домен об этом ни слова.

serdget
На сайте с 24.01.2012
Offline
84
#3
war357159:
Похоже на то что надо. Спасибо. А то я обгуглился.


но в Яндекс.Вебмастере стало видеть правильный Роботс. Фиг с ним, пусть так и будет.

По этому, чтобы не обГуглится, нужно во время Яндекснуть:)

Самому было интересно, работает или нет.

Ведь и меня, это рано, или поздно коснется.

Но должен быть способ , чтобы и юзеров не кидало 301, на новый домен!

На Юкозе, как то, это сделали (автоматом), а значит можно сделать и для всех (любому сайту)

http://intersnet.ru/robots.txt

http://raznoe00.ucoz.ru/robots.txt

301 редирект есть, но роботс.тхт, он не касается.

Значит, надо искать далее!

Спасибо вам, что обозначили проблему.

oxg
На сайте с 08.08.2011
Offline
218
oxg
#4
war357159:


http://***.рф/robots.txt редиректит на
http://***.ru/robots.txt

может надо не рф писать а: домен.xn--p1ai

Прокси IPv6 Россия (http://proxy-ipv6.ru/proxy_ipv6.html) /32 сеть, каждый IP в отдельной /48 сети Прокси IPv4 (http://proxyk.ru/proxy-russia.html) более 160 подсетей А,B,C Прокси для Инстаграм (http://proxy-ipv6.ru/instagram-proxy.html)
serdget
На сайте с 24.01.2012
Offline
84
#5
oxg:
может надо не рф писать а: домен.xn--p1ai

ТС написал, что Яндекс видит нужный роботс, сайт.рф/роботс.тхт, с хостом на сайт.ру.

Где прописать домен.xn--p1ai, что бы юзеров, не кидало 301?

war357159
На сайте с 03.11.2009
Offline
257
#6
oxg:
может надо не рф писать а: домен.xn--p1ai

Точно. Ввел xn--******.xn--p1ai/robots.txt отобразило файл Роботс по адресу

http://****.рф/robots.txt

Ну отлично. Значит точно все работает. И робот Яндекса и человек роботс правильный видят и именно тот, который лежит на старом хосте.

serdget, А в целом: правильный перенос делается сперва зеркалированием старого домена на новый дерективой Хост (это для Яндекса), а только потом ставят 301 редирект (для Гугла). Т.к., обычно с гуглом проблем нет, а вот с Яндексом часто. Но одновременно запустить для обоих поисковиков на мой взгляд лучше.

serdget
На сайте с 24.01.2012
Offline
84
#7

удалил.........

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий