Директива Host. Решение проблемы с зеркалами в Яндексе.

E2
На сайте с 15.12.2006
Offline
128
#71
Ziby:
Зеркала (с www и без) до установки редиректа уже были склеены?

Да, были склеены.

Ziby:
1) Что было с зеркалами до установки редиректа.

В выдаче всегда были страницы с WWW в адресе. Не знаю, что тут ещё можно сказать.

Ziby:
2) Что хотели получить (с www или без).

Хотел получить все страницы в выдаче без WWW т.к. домен=ключевик, дополнительные символы перед ним (www.) портили картинку.

Ziby:
3) В Robots.txt что прописано.

User-Agent: *

Disallow:

Host: mail.ru

Clean-param: dn

Sitemap: http://mail.ru/sitemap.xml

Ап! И тигры у ног моих сели.
Z
На сайте с 23.05.2007
Offline
69
#72
error2k:
Да, были склеены.
error2k:
В выдаче всегда были страницы с WWW в адресе.
error2k:
Хотел получить все страницы в выдаче без WWW

Понятно. Кто же Вам посоветовал ставить редирект на не главное зеркало (по мнению Яндекса) в таком случае, когда зеркала уже склеены?! Поведение Яндекса в данном случае — естественно.

У Вас есть два пути в данном случае, если Вы хотите главным зеркалом сделать сайт (без www):

1) Оставить редирект (с данным robots.txt):

User-Agent: *

Disallow:
Host: mail.ru
Clean-param: dn
Sitemap: http://mail.ru/sitemap.xml

В этом случае, страницы будут выпадать и дальше, пока ни одной не останется, а сайт вернётся в выдачу только после того, как произойдёт «переклейка» (от 4 до 6 недель).

2) Снять редирект, оставить данный robots.txt:

User-Agent: *

Disallow:
Host: mail.ru
Clean-param: dn
Sitemap: http://mail.ru/sitemap.xml

В этом случае, страницы перестанут выпадать и сайт вернётся в выдачу с www, а после того как произойдёт «переклейка» (через 4-6 недель), будет в выдаче без www (как Вы и хотели).

Удачи!

P.S. sabotage в начале топика не зря написал:

sabotage:
Позаботившись об этом на этапе создания сайта можно сэкономить деньги, нервы и, покуривая (необязательно), наблюдать за истерией очередной жертвы зеркального катаклизма.
wolf
На сайте с 13.03.2001
Offline
1183
#73
error2k:
Ещё мне рассказали, что раньше Яндекс читал то, что относилось к User-Agent: Yandex, не считая себя юзер-агентом звёздочкой. Вдруг это и сейчас так?

Если есть отдельная секция для конкретного робота, то он выполняет только ее директивы, если нет - то директивы секции, которая предназначена для всех роботов (User-Agent: *)

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
E2
На сайте с 15.12.2006
Offline
128
#74
Ziby:
P.S. sabotage в начале топика не зря написал:

Позаботившись об этом на этапе создания сайта можно сэкономить деньги, нервы и, покуривая (необязательно), наблюдать за истерией очередной жертвы зеркального катаклизма.

Вот по этому поводу я ему и писал в личные сообщения. Надо переформулировать первый пост полностью и явно указать, что ставить редирект на уже склееные сайты чревато ;)

error2k добавил 17.04.2009 в 16:45

Ziby:
В этом случае, страницы перестанут выпадать и сайт вернётся в выдачу с www,

Вот что-то не спешит сайт возвращаться-то в выдачу.

Ziby:
а после того как произойдёт «переклейка» (через 4-6 недель), будет в выдаче без www (как Вы и хотели).

Уже половина срока склейки прошла. Может и не стоило редирект отключать ;)

sabotage
На сайте с 14.02.2007
Offline
192
#75
error2k:
Вот по этому поводу я ему и писал в личные сообщения. Надо переформулировать первый пост полностью и явно указать, что ставить редирект на уже склееные сайты чревато

error2k, я не ответил, тк редактировать старые посты нельзя. А вообще тему надо глубже читать, а не только первый пост. Тогда можно и 🚬

E2
На сайте с 15.12.2006
Offline
128
#76

Содержимое Яндекс-Вебмастера меня в конец расстроило.

Дата последнего обращения робота к сайту: 13 апреля 2009, 22:44 - вроде бы всё ок
Число загруженных страниц: 114
ТИЦ: 90
Число ошибок: 113
Страниц в индексе: 1
Внутренних ссылок на страницы сайта: 0

Несложно заметить, что 113 + 1 = 114 ;(

Та единственная главная страница, что в индексе - без титла и снипета.

Раздел Ошибки / Сводка:

HTTP-статус: Ресурс не найден (404) 11 - это он на файлы программ ругается
HTTP-статус: Ресурс перемещён навсегда (301) 2 - главная и ещё один жирный раздел
HTTP-статус: Ресурс временно перемещён (302) 89 - остальные разделы
Формат документа не поддерживается 11 - опять файлы программ

Очевидно, все мои страницы, на которых уже неделю точно отключен редирект, Яндекс всё ещё считает редиректами.

HTTP-статус: Ресурс временно перемещён (302):

/раздел1/ 31.03.2009 31.03.2009
/раздел2/ 31.03.2009 31.03.2009
/раздел3/ 2.04.2009 2.04.2009
далее всё в таком же духе...

т.е. самое позднее, когда бот проверял страницу - это 2 число. Что ж он, зараза, не хочет обновлять статус.. Проверить хотя бы, что там нет редиректа ;(

Может быть уже следует настроиться на длительное ожидание зеркальщика и вернуть 301 редирект, чтобы ему было проще думать.

Извиняюсь за длинный пост, но уже неделю не представляю, как помочь своему сайту ;)

100chuk
На сайте с 02.12.2005
Offline
194
#77

Меня вот уже давно мучает вопрос - сколько должно пройти времени, чтобы зеркало, указанное в host, стало зеркалом навсегда (в т.ч. и получило тИЦ навсегда)? Т.е. вместо site1 делаем главным site2, а через год site1 (301 редиректа на нем нет) получает уникальный, отличный от site1 контент.

Исходя из опыта возникают подозрения, что нисколько. :) Т.е. в момент появления отличающегося контента на сайтах на кого больше стоит ссылок - тот и главный.

Утка-робот
На сайте с 08.07.2008
Offline
173
#78
100chuk:
Т.е. в момент появления отличающегося контента на сайтах на кого больше стоит ссылок - тот и главный.

Они расклеятся. Если сайт в ЯК, то описание останется на бывшем главном зеркале.

100chuk
На сайте с 02.12.2005
Offline
194
#79
Утка-робот:
Они расклеятся. Если сайт в ЯК, то описание останется на бывшем главном зеркале.

Но ЯК же при склейке меняется на выбранный главный сайт. Или Вы хотите сказать, что история изменений сохраняется навсегда и откатывается на предпоследний при расклейке?

alex_ar
На сайте с 11.12.2008
Offline
37
#80
100chuk:
Но ЯК же при склейке меняется на выбранный главный сайт. Или Вы хотите сказать, что история изменений сохраняется навсегда и откатывается на предпоследний при расклейке?

Утка-робот, все четко сказал. А на счет

Вы хотите сказать

Говорите-то вы, а не он.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий