301 редирект и robots.txt

12
M2
На сайте с 01.08.2007
Offline
111
2050

Всем доброго времени суток!

Пересмотрел весь поиск, похожие темы есть, но ответа на конкретный вопрос нет. В одной теме этот вопрос задавался, но ответа на него не последовало.

Ситуация следующая: сначала я продвигал сайт site1.com. Полгода всё шло хорошо, но месяц назад сайт попал под фильтр Яндекса "Ты последний". Плюс к этому я зарегистрировал новый, с более красивым названием, домен site2.ru. Неделю назад решил, если можно так сказать, перенести с исправлениями site1.com на site2.ru. Убрал страницы сомнительного качества (из-за них, думаю, был наложен фильтр). Так что сайты получились не полными зеркалами.

В корневой папке site1.com оставил только файлы .htaccess и robots.txt. В .htaccess написано:

RewriteEngine on

RewriteCond %{HTTP_HOST} ^site1.com$ [OR]

RewriteCond %{HTTP_HOST} ^www.site1.com$

RewriteRule ^(.*)$ http://site2.ru/$1 [R=301,L,QSA]

А в роботсе:

User-agent: *

Disallow: /

User-agent: Yandex

Disallow: /

Host: site2.ru

С Гуглом всё понятно: он понимает редирект и из индекса уже пропали почти все страницы site1.com и появились новые страницы site2.ru. А в индексе Яндекса всё ещё есть все страницы site1.com, хотя в самом начале я воспользовался delurl`ом и прошло уже 2 апа. После addurl нового сайта этот сайт 1 день был в индексе, потом пропал (вероятно, это был быстроробот).

В robots.txt нового домена site2.ru прописано:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: site2.ru

В связи с этой ситуацией у меня возникли следующие вопросы:

1. Понимает ли робот Яндекса, что его направляют через редирект на страницы на новом сайте site2.ru? Не думает ли он, что, раз страница открылась, то это страница со старого домена?

2. Так как стоит редирект, робот уже не может прочитать robots.txt на старом сайте site1.com, так? Тогда почему почти все люди рекомендуют почти в каждой теме по переноске домена прописывать robots.txt? Может они имеют в виду писать robots.txt в новом домене?

Возможные решения:

1. Так как Гугл всё прекрасно понял, а Яндекс ещё нет, может мне стоит убрать редирект? Тогда будет виден robots.txt с запретами на индексацию и сайт исчезнет из индекса Яши.

2. Оставить всё как есть и ждать. Правильно ли Яндекс определит основной сайт в этом случае?

Сорри, что так много написал. Буду благодарен за конструктивные ответы и объяснения, в чём я прав, в чём не прав.

upyrj
На сайте с 17.09.2005
Offline
140
#1

IMHO, вариант 2.

Я недавно сделал примерно то же самое: был сайт под «ты последний», после установки редиректа на новое место и закрытия некачественного контента в robots.txt — в новом месте сайтик проиндексировался и оказался без фильтра.

Более того, я, кажется, даже беки не потерял — в анкор-листе сохранились старые доменные анкоры.

Проиндексировался не очень быстро, поэтому я бы на вашем месте подождал еще.

Денис Иванов Важно: обменом валют я не занимаюсь.
M2
На сайте с 01.08.2007
Offline
111
#2

upyrj, а пропал ли из индекса Яши старый сайт? Если да, то через какое время? Не склеились ли домены?

upyrj
На сайте с 17.09.2005
Offline
140
#3

marat23, из индекса пропал; похоже, что именно склеились — потому и анкоры не потерялись. 8)

Про время — точно не помню. Вроде в месяц уложился. 8/

Megavolt
На сайте с 23.12.2005
Offline
179
#4

upyrj, вообще то вес в яшке не передается через 301

Иногда лучше жевать.... (С)
upyrj
На сайте с 17.09.2005
Offline
140
#5

Megavolt, да вот ни фига, передаются.

Или объясни, откуда на новом домене в анкор-листе выросли анкоры со старым доменным именем. 8)

A
На сайте с 20.08.2007
Offline
15
#6

10 редиректов

A
На сайте с 20.08.2007
Offline
15
#7

если инструкцию host в robots яша еще не переварил, а уже поставили 301-й редирект, то его заглючит и он выкинет первый сайт из индекса совсем. я на этом собаку съел )

1 вариант:

поставить 301 редирект для всего сайта, кроме robots.txt

2 вариант:

поставить 301 редирект для всех роботов кроме индексирующего (I) Яшки (именно его глючит на этом)

3 вариант:

убрать 301 редирект совсем и подождать яшу (тогда запутаете остальных роботов, что чревато - то есть редирект, то его нет..)

-Off-
На сайте с 17.09.2007
Offline
12
#8
abbyevg:
1 вариант:
поставить 301 редирект для всего сайта, кроме robots.txt
2 вариант:
поставить 301 редирект для всех роботов кроме индексирующего (I) Яшки (именно его глючит на этом)

imho

как реализовать эти варианты?

M2
На сайте с 01.08.2007
Offline
111
#9

abbyevg, мне как раз и надо, чтобы Яша забыл старый сайт.

Z
На сайте с 23.05.2007
Offline
69
#10

marat23, Вам надо оставить всё как есть и ждать. С 301-ым редиректом Вы быстрее склеете зеркала, чем без него.

По поводу передачи веса через 301-ый редирект, соглашусь с Денисом (upyrj), в последнее время всё чаще наблюдаю, как Яндекс прекрасно передаёт вес через 301-ый редирект, чего раньше не наблюдалось и требовалось дожидаться склейки зеркал через Host, а потом только ставить редирект.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий