Форум Поисковые системы Яндекс

Набиваем шишку на 301м редиректе

12
A
На сайте с 20.08.2007
Offline
15
abbyevg
1182

Долго пытался понять почему после проставленного редиректа с www.sub.domen.ru на sub.domen.ru робот Яши не хочет кушать сайт. И вот, натевам, ответ любимого нами Платона:


В настоящее время ситуация такова: наш робот-зеркальщик помнит в качестве
главного зеркала сайт http://www.sub.domain.ru и по мере обхода пытался
его индексировать. Но так как на сайте стоит 301 редирект, а редиректы робот
не индексирует, то страницы сайта из базы удалялись. Более того, сейчас робот
не может прочитать даже указания, содержащиеся в /robots.txt, так как он тоже
отвечает ошибкой 301.

С другой стороны, сайт http://sub.domain.ru робот не может
проиндексировать, так как всё ещё считает его неглавным зеркалом, и переходит
с него на главное зеркало http://www.sub.domain.ru. И далее по кругу.

Наиболее рациональным решением проблемы будет, очевидно, снятие редиректа.
Тогда робот прочитает указания в /robots.txt и в течение некоторого времени
зеркала будут переклеены. Обратите внимание, что процесс этот занимает до 4–6
недель и ускорить его, к сожалению, нельзя.

Поэтому, вывод:

1. Сначала правим robots:

User-Agent: Yandex

Disallow: /admin.php

Host: sub.domain.ru

2. Ждем когда зеркальщик Яхи посавит главным нужное нам зеркало (с www или без, кому как надо)

3. И только тогда ставим 301-й редирект в .htaccess

Может и боян, но шишку я себе уже набил .. кхе

Удивительно, как другие ПС умудряются все схавать и не поперхнутьцо даже в таких случаях,

а у Яши постоянно наши сайты как кости в горле

mstar
На сайте с 19.12.2005
Offline
133
mstar
#1

баян.......................

Разработка сайтов (http://www.mstarproject.com/?action=tecdoc_mysql_site) - удобные веб приложения по разумной цене.
di_max
На сайте с 27.12.2006
Offline
262
di_max
#2
abbyevg:
Удивительно, как другие ПС умудряются все схавать и не поперхнутьцо даже в таких случаях, а у Яши постоянно наши сайты как кости в горле

Так они себе не морщат моск Host-ом...;)

Яндекс сам придумал и... сам не может разрулить...

// Все наши проблемы от нашего не знания...
Concurent
На сайте с 26.09.2007
Offline
144
Concurent
#3

как раз перед апом тиц у меня началась переклейка, главный теперь - с www

с него одного видать и посчитали - на 200 тиц упал

С уважением, Павел
F
На сайте с 12.03.2007
Offline
85
fatalenergy
#4

Как ни странно а яндекс свой Host не понимает! Робот какой-то тормознутый.

У меня такая конструкция выручила (это после того как несколько лет стоял Host в robots и ничего не дал): 

RewriteEngine on

Options +FollowSymlinks

RewriteBase /

RewriteCond %{HTTP_HOST} ^fatalenergy.com.ua$

RewriteRule ^(.*)$ http://fatalenergy.com.ru/$1 [R=301,L]



RewriteCond %{HTTP_HOST} ^www.fatalenergy.com.ua$

RewriteRule ^(.*)$ http://fatalenergy.com.ru/$1 [R=301,L]



RewriteCond %{HTTP_HOST} ^www.fatalenergy.com.ru$

RewriteRule ^(.*)$ http://fatalenergy.com.ru/$1 [R=301,L]
Как начать тренироваться (http://max-body.ru/quick_start.html), Бодибилдинг форум (http://fatal-energy.com/). Обменяюсь/куплю ссылками со статей (или статьями) с сайтами бодибилдинг/фитнес тематики.
К
На сайте с 05.12.2007
Offline
7
Капитоль
#5

abbyevg, именно так и сделал, поставил 301 после того как переназначились зеркала, т.е поставил редирект, когда новый сайт был полностью в индексе, а старый пропал.

Но в этот ап и новый вылетел из индекса, остался только с www.site.ru в тайтле. Убрал 301 от греха подальше, PR сильно не нужен, ссылки с него не продаю, а ссылочное и так передавалось..

A
На сайте с 20.08.2007
Offline
15
abbyevg
#6
именно так и сделал, поставил 301 после того как переназначились зеркала, т.е поставил редирект, когда новый сайт был полностью в индексе, а старый пропал.

Имхо, не надо ждать пока полностью проиндексится новый а старый пропадет. Нужно ставить редирект СРАЗУ ЖЕ как только зеркальщик увидел новое зеркало

Как ни странно а яндекс свой Host не понимает! Робот какой-то тормознутый.

должен понимать в принципе, при правильном написании (как я привел) и последующей установкой 301-го редиректа. хоть и глючно.

Вполне логичным можно было бы увидеть появления соответствующей пимпочки (с www или без) в панели вебмастера как у гугла

S
На сайте с 28.10.2005
Offline
319
semenov
#7

С другой стороны, сайт http://sub.domain.ru робот не может
проиндексировать, так как всё ещё считает его неглавным зеркалом, и переходит
с него на главное зеркало http://www.sub.domain.ru

Чето даже мое больное воображение не может представить этот процесс

Или это "блондинко-френдли?" ответ? +)

Solmyr
На сайте с 10.09.2007
Offline
501
Solmyr
#8

Снять редирект с robots.txt

Для остальных страниц оставить.

guess_ein
На сайте с 10.07.2003
Offline
47
guess_ein
#9

а у меня вот robots.txt зеркальщиком давно скушался, а вот при апе все страницы без ве-ве-ве выкинул (редиректов не было). Ждать надо. А говоря "С другой стороны, сайт http://sub.domain.ru робот не может проиндексировать, так как всё ещё считает его неглавным зеркалом, и переходит с него на главное зеркало http://www.sub.domain.ru" Платон ИМХО лукавит, прикрывая глюки связанные с нововведением. Ждем и не впадаем в панику.

И смотри не перепутай СДЛ и ЛСД
A
На сайте с 20.08.2007
Offline
15
abbyevg
#10

Причем! такая кака только с индекс-роботом (I), другие же (дятел каталога, P, F) отлично делают свое дело.

Сейчас, видимо, нужно настроить 301-редирект для всего сайта кроме robots.txt чтобы робот его прочитал.

Кажется, это оптимальный выход.

Поможите с инструкциями чтобы исключить редирект на robots.txt?

Яндекс: 301-й редирект полностью SSL-сертификаты Let's Encrypt и Копия сайта под другую
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий