Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

robots.txt и 301?

T
На сайте с 18.07.2007
Offline
4
Thru
670

При индексации Яндекс определил главным www.сайт, без www - зеркалом. После того как я добавил в htaccess:

#RewriteCond %{HTTP_HOST} ^www.сайт$
#RewriteRule ^(.*)$ http://сайт/$1 [NC,R=301,L]

две недели назад страницы начали выпадать.

Сегодня выпали абсолютно все страницы, через addurl сайт добавился только к середине дня.

Возможно проблема Яндекса с некоторыми выпадениями именно в том что:

http://www.yandex.ru/cgi-bin/test-robots

после склейки, не понимает когда в ответ на запрос:

www.сайт/robots.txt

ему выдают

301 сайт/robots.txt

(пишет сервер вернул код ошибки 301)

Сейчас убрал строки в htaccess и прописал в robots.txt:

User-agent: *
Disallow: /links

User-agent: Yandex
Disallow: /links
Host: сайт

Роботам - велкам.

Одно плохо - в гугле снова появятся дубли с www.

Вопрос: Как отнесется Яндекс к тому, что в Host ему переназначают зеркала (в плане времени реагирования и включения в индекс)?

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#1
Thru:
При индексации Яндекс определил главным www.сайт, без www - зеркалом. После того как я добавил в htaccess:

Вы начали разруливать проблемму, которую когдато создали себе сами.

Thru:
Роботам - велкам.
Одно плохо - в гугле снова появятся дубли с www.

Каким образом это Вас беспокоит?

Thru:
Вопрос: Как отнесется Яндекс к тому, что в Host ему переназначают зеркала (в плане времени реагирования и включения в индекс)?

Относится нормально. Срок - 2-3-6 месяцев. Как повезет. Можно чуть ускорить, набирая ссылки с указанием главного зеркала.

По некоторым сайтам, могу сказать. 301 не использую. Сайт отдается и с ввв и без.

В раме он с ввв, в яше без (за счет указания в роботс), в гугле то так то так. На позиции не влияет.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
Упал доход Влияет ли на выдачу Вопросы представителю Яндекса

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий