Это вполне могло быть связано с тем, что страницы с www и без были посчитаны дублями и автомат стал сбоить именно на дублях. Нужно было прописать безошибочный robots.txt с директивой Host (если для Вас важен выбор конкретного домена как основного зеркала) или просто подождать нормальной склейки.
Все беды от паникерства 🙅 Нужно было просто чуть потерпеть :)
И это правильно. Теперь нужен безошибочный robots.txt с директивой Host и немного терпения. Так же, посмотрите что я писал чуть выше про динамический контент.
Никогда не слушайте чужих советов, в том числе и этот :)
Я в этих апачевских премудростях не разбираюсь и разбираться не собираюсь :) . Судя из предыдущих сообщений, это редирект с домена с www на домен без www. При этом еще и с 301 откликом.
Повторюсь: я считаю совершенно ненужным и даже более того - вредным, использование редиректов для склейки. Далее имхо, но тем не менее: Во-первых, поисковые машины всегда настороженно относятся к редиректам. Во-вторых, Вы теряете вес передаваемый по ссылкам, которые "упруться " в редирект. В-третьих, не всем посетителям может понравится, когда их принудительно перекидывают на другой домен.
Кроме того, я не вижу объективных причин, по которым может быть принципиальным использование домена только с www или только без www.
Вполне возможно, что и в ручную. WWW это атавизм, но очень многим он привычен.
Год большой срок. По хорошему, давно должны были склеить. Видимо, что-то этому мешает. Может быть очень большо объем сайта, может быть "равновесие ссылок" на оба домена, может быть сильно динамическое содержание. Если страницы постоянно меняются (например существует постоянно обновляемая лента новостей) то это может создать у робота ложное представление о различии содержимого доменов с / без www.
Личный опыт: на один сайт заведены 4 разных домена (с учетом www / без www так и все восемь). На сайте ~ 10000 страниц. На первой странице, часть ссылок вглубь сайта сделаны абсолютными. На всех страницах сайта есть одна абсолютная ссылка на первую страницу.
В robots для Яндекса прописана директива Host, остальные поисковики разобрались и без неё.
Все восемь доменов прекрасно склеены и нет никаких проблем.
Я за этим форумом давно наблюдаю :)
По поводу мероприятия я в раздумьях...
Вреда никакого лично я не вижу. В принципе, если на сайте всё нормально (никаких дурацких редиректов нет, к примеру), то со временем домены склеятся без посторонней помощи. Директива Host нужна не для самой склейки, а для того, чтобы сообщить Яндексу какой из вариантов доменов, хозяин предпочитает видеть в качестве главного зеркала.
При склейке, все сылки тоже "склеяться". То есть будут как бы вести на один домен, вместо нескольких. В результате может и PR подрасти и тИЦ и даже (шепотом) ВИЦ (только об этом никому!). Но могут и не подрасти, во всяком случае заметно.
Chewi,
На этом форуме много чего пишут :) По своему опыту могу сказать - директиву Host в безошибочном robots.txt Яндекс обрабатывает нормально.
Так же, специально отмечу, что хотя директива Host и запрещает индексацию доменов отличных от основного зеркала, роботы и сервисы туда ходить могут, хотя бы для того, что бы убедиться в том, что их не обманывают.
Это повод для действий. Редирект вообще довольно стремная штука с точки зрения поисковиков. Настоятельно рекомендую избавиться.
Если домены склеены, ссылки тоже склеятся.
Большинство халявных каталогов действительно того не стоят. Но иногда, при вдумчивом подходе и некоторых хитростях, с халявных каталогов можно получить и весьма жирную ссылку, и даже тематический трафик.
Ну а уж если зеркала есть в силу сторонних причин (например, зарезервированы сходные написания доменов), то тут уж грех не воспользоваться.
На мой взгляд, ошибкой было использование и директивы Host и редиректа одновременно. Имхо, одного Host было бы достаточно. Пусть и не сразу, но яндекс склеил бы домены с www и без и признал бы главным (в том числе и для каталога) тот, что без www.
Что касается других поисковиков, то для них, определяющим главного зеркала будет наличие бОльшего количества ссылок на один из доменов. (Исключением может быть Рамблер, который ориентируется по Тор 100)
В данный момент существует противоречие - директива Host говорит, что домены зеркальны, но в реальности, робот по одному адресу получает плноценную страницу с кодом 200, а по другому он страницы не получает. Такое положение вещей может робота "смутить".
Вернемся к редиректу и спросим: зачем он тут вообще нужен? Важно ли Вам, что бы нормальные посетители всегда получали //site.ru? Важно ли это?
Если важно, то можно навигацию по сайту сделать абсолютной, и при первом же переходе по внутр. ссылке, посетитель окажется на домене без www.
Кстати, авсолютная навигация (полные адреса с http://site.ru/ в начале) тоже поспособствует правильной склейке.
Так что мой совет - снимайте редирект, оставляйте Host и ставьте внешние ссылки на домен без www. Ну и при необходимости, делайте навигацию (или её часть) абсолютной.
Это нормально. При каждом новом заходе, робот проверяет файл инструкций.
Многие проверки урлов первый раз обманываются добавлением с www и без.
Второй и последующие разы добавляются урлы не основного сайта, а подклееных зеркал, которых может быть весьма много. Ссылка на зеркало, аналогична ссылке на основной сайт, насколько я в курсе.
Количество сообщений уменьшилось, научные звания остались. Во всяком случае, я вижу академиков с < 1000 постов.
