Директива Host. Решение проблемы с зеркалами в Яндексе.

sabotage
На сайте с 14.02.2007
Offline
192
32055

Вопрос по зеркалам подымается постоянно, особенно после прогулки робота-зеркальщика. Основная масса веб-мастеров, как завороженные, рекомендуют прописать директиву host в robots.txt. Что же рекомендует Яндекс:


Директива Host.

Если ваш сайт имеет зеркала, специальный робот зеркальщик определит их и сформирует группу зеркал вашего сайта. В поиске будет участвовать только главное зеркало. Вы можете указать его при помощи robots.txt, используя директиву 'Host', определив в качестве ее параметра имя главного зеркала. Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом.

http://help.yandex.ru/webmaster/?id=996567#996574

Ключевое слово если. В подавляющем большинстве случаев сайт имеет 2 зеркала - site.ru и www.site.ru. Убрать одно из зеркал можно с помощью редиректа, прописанного в htaccess:


RewriteCond %{HTTP_HOST} ^(www\.)?([^\.]+)\.site.ru$
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

В этом примере настроен редирект с www.site.ru на site.ru.

Позаботившись об этом на этапе создания сайта можно сэкономить деньги, нервы и, покуривая (необязательно), наблюдать за истерией очередной жертвы зеркального катаклизма.

ps Хостинг, не позволяющий использовать htaccess вреден для seo. Но бывает.

pps Случаи, когда директива host жизненно необходима, предлагаю дополнить совместно в обсуждении.

K
На сайте с 31.01.2001
Offline
737
#1

Я бы выделил очень жирно:

sabotage:
на этапе создания сайта
Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
sabotage
На сайте с 14.02.2007
Offline
192
#2
Kost:
Я бы выделил очень жирно:

Kost, уже. :)

Но опять же - что произойдет, если поставить редирект на главное зеркало для работающего сайта?

DyaDya
На сайте с 11.04.2007
Offline
147
#3

ТС, продолжим общение здесь)

Возможно, ламерский вопрос, но задаю не с проста.

Я, например, для себя так и не решил. Действительно ли нужно создавать подобный htaccess


RewriteCond %{HTTP_HOST} ^(www\.)?([^\.]+)\.site.ru$
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

именно на этапе создания до склейки и определения зеркала яндексом?

На форуме встречается противоречащая информация.

Возьмём например, это высказывание /ru/forum/comment/1598421


...301 редирект не сможет в полной мере заменить полноценную склейку зеркал. Мало того, после установки редиректа Яндекс вообще никогда не склеит зеркала, а всегда будет считать их разными сайтами, один из которых пересылает пользователя на другой. Дело в том, что для склейки зеркал Яндекс должен иметь возможность проиндексировать оба зеркала, чтобы убедиться, что эти сайты полностью идентичны. Сайт с редиректом не может быть идентичным сайту без редиректа.

Рекомендуется ставить 301 редирект для Гугла и пользователей, но лишь после того, как зеркала будут склеены Яндексом (это официальная рекомендация Платона Щукина).

Если преждевременно поставить 301 редирект, то все естественные ссылки, поставленные на домен с 301 редиректом, не будут учитываться Яндексом.

В случае парковки на один сайт нескольких доменных имен, они тоже являются зеркалами и для правильной склейки (faq суппорта Яндекса) рекомендуется использовать абсолютные ссылки для внутренней навигации.

Красным я выделил то, с чем я пока согласен. Но тот топик уже стар, возможно ситуация сегодня уже другая и Яндекс нормально по 301-му передаёт и вес и ссылочное? Не зависимо от того, разобрался он что сайты идентичны или нет. У Гугла-то проблем с этим нет!

Надеюсь, этот очередной топик окончательно прояснит данный вопрос для меня!

Выбирайте качественный хостинг (http://vashmaster.ru/informaciya/o_poleznyh_programmah/news83.php) и продвигайте сайты в СЕОПУЛЬТ (http://seopult.ru/ref.php?ref=72b5ed9561fe66a1). А на «SAPE» я в обиде :) Не упрекайте за очепятки, пишу вслепую (http://ergosolo.ru/) и также делаю сайты (http://www.vashmaster.ru/) ;)
sabotage
На сайте с 14.02.2007
Offline
192
#4

Вырвал оттуда:

bondarev.pp.ru:

Вопреки высказыванию lexalink, 301 редирект не сможет в полной мере заменить полноценную склейку зеркал. Мало того, после установки редиректа Яндекс вообще никогда не склеит зеркала, а всегда будет считать их разными сайтами, один из которых пересылает пользователя на другой. Дело в том, что для склейки зеркал Яндекс должен иметь возможность проиндексировать оба зеркала, чтобы убедиться, что эти сайты полностью идентичны. Сайт с редиректом не может быть идентичным сайту без редиректа.

Рекомендуется ставить 301 редирект для Гугла и пользователей, но лишь после того, как зеркала будут склеены Яндексом (это официальная рекомендация Платона Щукина).

Зачем что-то клеить, если www после редиректа по определению не вылезет в поиске? Пусть Яндекс считает что угодно, его право. В такой склейке не вижу никакого смысла. Рекомендацию Платона не понял.

DyaDya
На сайте с 11.04.2007
Offline
147
#5

я думаю из-за этого:

Если преждевременно поставить 301 редирект, то все естественные ссылки, поставленные на домен с 301 редиректом, не будут учитываться Яндексом.

Не все же ссылки будут вести на основной домен. Наверняка будут и те естественные пользователи, которые забудут проставить www или наоборот, поставят ссылки с www на ваш сайт (я когда ссылаюсь, могу поставить и так и так 50/50%).

---

Вообще, ситуация странная. Яндекс сам же ввёл директиву Host в robots.txt, но говорит, что слушается её не обещает!

sabotage
На сайте с 14.02.2007
Offline
192
#6
DyaDya:
Не все же ссылки будут вести на основной домен. Наверняка будут и те естественные пользователи, которые забудут проставить www или наоборот, поставят ссылки без www на ваш сайт.

Оки, подождем, пока подтянется тяжелая артилерия.

Нашел упоминание того, что страница с 301 редиректом нормально ранжируется. Проверил на нескольких сайтах, которые изначально работали по обсуждаемой схеме.

Результат:


найден по ссылке: www.site.ru
site.ru

Естественная ссылка с www есть и она учтена в панели веб мастера (Яндекс) на основной (без www) домен.

Z
На сайте с 23.05.2007
Offline
69
#7
Если преждевременно поставить 301 редирект, то все естественные ссылки, поставленные на домен с 301 редиректом, не будут учитываться Яндексом.

Правильно - не будут, но до момента склейки/переклейки зеркал.

DyaDya:
Надеюсь, этот очередной топик окончательно прояснит данный вопрос для меня!

Что конкретно Вам не понятно? Давайте попробуем прояснить. Смоделируйте ситуацию, при которой у Вас возникают сомнения в использовании 301-го редиректа.

DD
На сайте с 02.10.2008
Offline
84
#8
DyaDya:
Наверняка будут и те естественные пользователи, которые забудут проставить www или наоборот, поставят ссылки с www на ваш сайт (я когда ссылаюсь, могу поставить и так и так 50/50%).

будут. ну и что? по-моему с прописанной директивой в хтацессе это не помешает

Бытовая техника Miele (http://www.grafua.ru). Недорого.
sabotage
На сайте с 14.02.2007
Offline
192
#9
Ziby:
Правильно - не будут, но до момента склейки/переклейки зеркал.

Сайт начал работу с настроенным редиректом (пост выше). Склейка, выходит, произошла?

Z
На сайте с 23.05.2007
Offline
69
#10
sabotage:
Сайт начал работу с настроенным редиректом (пост выше). Склейка, выходит, произошла?

Произойдёт она, как зеркальщик поработает. Если с момента запуска сайта прошло несколько недель, то возможно ещё не произошла.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий