Не учитывается роботс из-за редиректа

A
На сайте с 09.06.2007
Offline
43
343

Стоит редирект с www.domain.ru на domain.ru

Яндекс.Вебмастер отказывается считывать роботс, из-за перенаправления:

"Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление."

Как быть?

Vumnik
На сайте с 26.04.2005
Offline
73
#1

А никак, всё оставить как есть. Роботс не работает на www.domain.ru (он теперь там и не нужен), но зато работает на domain.ru.

A
На сайте с 09.06.2007
Offline
43
#2
Vumnik:
А никак, всё оставить как есть. Роботс не работает на www.domain.ru (он теперь там и не нужен), но зато работает на domain.ru.

оставить как есть и впоследствии считает с domain.ru/robots.txt ?

сейчас даже нельзя закрыть от индексации некоторые разделы сайта, из-за того, что не видит роботс.. 😡

[Удален]
#3

Добавьте в редирект строчку:

RewriteCond %{REQUEST_URI} !^/robots.*

Vumnik
На сайте с 26.04.2005
Offline
73
#4
alexjm:
оставить как есть и впоследствии считает с domain.ru/robots.txt ?
сейчас даже нельзя закрыть от индексации некоторые разделы сайта, из-за того, что не видит роботс.. 😡

Не впоследствии, а сразу. Для domain.ru robots.txt сработает сразу, как только будет прочитан Яндексом (если он размещен давно, то наверняка уже сработал). Если хотите увидеть это в вебмастере, удалите в нем домен www.domain.ru и добавьте вместо него domain.ru. Просто пока эти домены не склеились, Яндекс рассматривает их, как разные сайты, а вот склейка на Яндексе делается довольно медленно, нужно подождать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий