Помогите. Зеркальщик.

Возможно, что-то изменилось в работе зеркальщика в последнее время. Однако, пока я своими глазами не увижу такую хитрую переклейку, буду считать, что Вы заблуждаетесь.

Скажите пожалуйста, как, по-Вашему, работает зеркальщик? Каким образом (без глубоких деталей, конечно, на пальцах) происходит склейка? Зачем вообще нужна склейка?

Данное утверждение, которое Вы процетировали, исходит из практики. Пару раз была у меня такая проблема, и я ее так решал. И все так же происходило, как я написал (если у кого то было подругому, просьба написать).

По моему (возможно и ошибаюсь) при нахождении определенного процента (может 100% может и меньше - не знаю) схожести документов на 2 и более доменах, зеркальщик склеивает домены в БД Яндекса. Т.е. в выдаче Яндекса остается только один из доменов.

Выбор одного из доменов осуществляется, либо по средствам прописанного host в файле robots.txt, либо случайным образом (если не прописана деректива HOST).

301 редирект прописывается для того, что бы у домена (нужный в выдаче Яндекса) не было бы зеркала.

1. Для уменьшения количества выдаваемых документов

2. Для уменьшения трафика (если бы Яндекс качал сразу с двух и более доменов, то входящий трафик для Яндекса увеличился в 2 и более раз) - возможно и не так.

3. Для уменьшения нагрузки (в ранжирование документов будет присутствовать только один из доменов)

Да, кстати - если на одном из доменов будет 301 редирект. То данный домен не будет считать зеркалом того, на кого идет этот редирект.

По моему выше ответил я. Я бы и не смог Вам прописать глубокие детали, т.к. о всех деталях могут знать только разработчики Яндекса.

Все IMHO

K. Ermakov, А какой дали бы ответ Вы, на поставленные Вами вопросы. Хотелось бы узнать, ради самообразования. Может я коренным образом ошибаюсь, и тогда изменю свое мнение о работе зеркальщика.

Вы уверены, что описанным способом решалась проблема переклейки уже склеенного Яндексом сайта?

Видите ли, как мне представляется, для того, чтобы Яндекс смог склеить два сайта, он их должен хотя бы проиндексировать. Оба. Код отклика 301 не позволяет проиндексировать тот сайт, с которого стоит редирект. Что Яндексу остаётся клеить?

Далее. Склейка преследует цель снижения нагрузки на Яндекс, в том числе и на этапе работы индексирующего робота. После склейки он начинает индексировать только один сайт, который выбран основным зеркалом. Неосновные зеркала, таким образом, запрещаются к индексации. Редирект с основного зеркала на неосновное приводит к ситуации, описанной в том письме, ссылку на которое я давал выше.

Ещё раз повторюсь, возможно, Яндекс в последние полгода изменил своё отношение к таким редиректам, и тогда всё вышесказанное требует корректировки.

Я примерно о том же и говорю. Только я ставлю 301 редирект, не для того что бы была правильная склейка, а что бы этой склейки вообще не было бы (т.е. Яндекс знал о существовании, только одного из доменов). И Яндекс спокойно индексировал и выдавал в поиске только один из доменов.

Может я это письмо не правильно понял, но там описывалась ситуация, когда человек сделал следующее:

определил в качестве главного зеркала сайт www.site.ru (директива host в файле robots.txt)

и в тоже время сделал 301 редирект с www.site.ru на site.ru

И получилась ситуация, когда домен site.ru запрещен к индексации, по средствам файла robots.txt, а на домене www.site.ru и индексировать нечего, так как роботу выдается 301 редирект.

А я говорил о другой ситуации:

в файле robots.txt указывается основное зеркало - site.ru

и ставится 301 редирект с домена www.site.ru на домен site.ru

И благодаря этой схеме, Яндекс знает, только об одном из доменов.

Здесь, я с Вами полностью согласен. В принцепе - это тоже самое, о чем я выше написал.

То есть склейка невозможна, роботс.тхт излишен, т.к. Яндекс знает только об одном домене.

Мне вот интересен один вопрос.

Известно, что есть процесс зеркалирования доменов, когда 2 и более доменов одинаковы по содержанию. т.е. www.site.ru = site.ru

И вот что интересно: А есть ли процесс раззеркаливания, если после того, как домены склеились, на один из доменов поставить 301 редирект. Ведь тогда получается, что домены не одинаковы, не по контенту, не по кодам отклика.

т.е. предположим домен www.site.ru выдает код ответа - 301 и не выдает контента, а домен site.ru выдает код ответа - 200 и соответственно выдает контент.

В принципе, да

Вообще с этим вопросом надо адресоваться к Большому Браузеру. :)

Сам призадумался неделю назад, когда на кучке сайтов определилось главное зеркало (www/без www). Поставил на двух 301 редирект - посмотрю что будет.

Где то я видел комментарий от Я, что если страница выдает 301, то робот ждет пока не получит содержимое той страницы куда ведет редирект (если таймаут не пройдет раньше).

Можно предположить, что в случае редиректа с www.site.ru на site.ru робот получит один и тотже контент.

albion, в общем, поскольку наши мнения об общих принципах работы зеркальщика совпадают, то я всё больше убеждаюсь, что Ваш совет топикстартеру не только бесполезен, но и вреден. Все возможные комментарии я дал, из темы удаляюсь.