Когда Host из robots.txt начнет учитываться?

12 3
IR
На сайте с 02.02.2007
Offline
62
2152

Уже с месяц стоит http://photo.kamforum.ru/robots.txt, явно указывающий на photo.kamforum.ru (т.к. по мнению яндекса более уместен www.foto.kamforum.ru, на деле являющийся зеркалом). Сколько еще ждать смены основного домена?

Как мне кажется, именно по этой причине в базе яндекса лишь морда указанного сайта - http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.kamforum.foto%22|rhost%3D%22ru.kamforum.foto.*%22&pag=u, тут пусто - http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.kamforum.photo%22|rhost%3D%22ru.kamforum.photo.*%22&pag=u Причем морда photo.kamforum.ru пропала спустя некоторое время после появления robots.txt

В чем дело? Такое ощущение, что какие-то барабашки. Морда www.foto.kamforum.ru есть, а photo.kamforum.ru - теперь нет. Или из базы сайт выпал по другой причине?

PS Нечто похожее еще на паре проектов, но там ждем-с приклеивания домена третьего уровня на новенький второго уровня.

Илья Рудомилов. Основные проекты: Камчатский форум (http://www.kamforum.ru), Фотографии Камчатки (http://photo.kamforum.ru), Афиша Камчатки (http://www.afish-ka.ru), Форум Иркутска (http://www.irkboard.ru), Ежовый угол (http://notes.rudomilov.ru)
fima32
На сайте с 12.01.2006
Offline
132
#1
Ilya Rudomilov:
Уже с месяц стоит http://photo.kamforum.ru/robots.txt, явно указывающий на photo.kamforum.ru (т.к. по мнению яндекса более уместен www.foto.kamforum.ru, на деле являющийся зеркалом). Сколько еще ждать смены основного домена?

Как мне кажется, именно по этой причине в базе яндекса лишь морда указанного сайта - http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.kamforum.foto%22|rhost%3D%22ru.kamforum.foto.*%22&pag=u, тут пусто - http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.kamforum.photo%22|rhost%3D%22ru.kamforum.photo.*%22&pag=u Причем морда photo.kamforum.ru пропала спустя некоторое время после появления robots.txt

В чем дело? Такое ощущение, что какие-то барабашки. Морда www.foto.kamforum.ru есть, а photo.kamforum.ru - теперь нет. Или из базы сайт выпал по другой причине?

PS Нечто похожее еще на паре проектов, но там ждем-с приклеивания домена третьего уровня на новенький второго уровня.

Во первых, зеркальщик прибегает не скоро, можно и по полгода ждать.

А во вторых, правильнее будет:

User-Agent: *

Disallow:

Host: photo.kamforum.ru

А еще павильнее:

User-Agent: Yandex

Disallow:

Host: photo.kamforum.ru

User-agent: *

Disallow:

Skyter
На сайте с 17.02.2005
Offline
175
#2

fima32, хм, нет нужды указывать именно для Яндекса. Но действительно не помешает тописктартеру почитать инструкцию Яндекса по поводу роботса...

Потом все же роботс не есть правило на 100%!

Юрий Батиевский www.antop.ru (http://www.antop.ru/): тел: +7 903 796 05 86 Ищу SEO-специалиста, специалиста по контекстной рекламе, интернет-маркетолога.
Р
На сайте с 08.06.2007
Offline
11
#3

У меня расклеилось при апдейте тИЦ. Может совпадение, но произошло день в день.

fima32
На сайте с 12.01.2006
Offline
132
#4
Skyter:
fima32, хм, нет нужды указывать именно для Яндекса. Но действительно не помешает тописктартеру почитать инструкцию Яндекса по поводу роботса...

Указывать именно для Яндекса нужно потому, что Гугль директиву Host посчитает неправильной и всю запись проигнорирует.

Skyter:
Потом все же роботс не есть правило на 100%!

Абсолютно согласен

IR
На сайте с 02.02.2007
Offline
62
#5
А во вторых, правильнее будет:

Спасибо, поправил.

Во первых, зеркальщик прибегает не скоро, можно и по полгода ждать.

Очень жаль. Как понимаю, это не ускорить. Самое забавное, что беков на www.foto.kamforum.ru я ни разу не видел, все на photo.kamforum.ru.

Z
На сайте с 23.05.2007
Offline
69
#6

Ilya Rudomilov, директива host в robots.txt начинает учитываться, только после того как зеркальщик полностью склеит ваши зеркала. Только после того как произойдёт полная склейка, Яндекс обратится к robots.txt и учтёт указанное вами основное зеркало.

А ускорить можно поставив 301-ый редирект. Поищите по форуму как его поставить, много раз обсуждалось, если не знаете как ;)

T.R.O.N
На сайте с 18.05.2004
Offline
314
#7
fima32:
Указывать именно для Яндекса нужно потому, что Гугль директиву Host посчитает неправильной и всю запись проигнорирует.

Нет, запись Гугл понимает, хотя говорит о предупреждении.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
S
На сайте с 10.08.2006
Offline
115
#8
Ziby:
Ilya Rudomilov, директива host в robots.txt начинает учитываться, только после того как зеркальщик полностью склеит ваши зеркала. Только после того как произойдёт полная склейка, Яндекс обратится к robots.txt и учтёт указанное вами основное зеркало.

А ускорить можно поставив 301-ый редирект. Поищите по форуму как его поставить, много раз обсуждалось, если не знаете как ;)

вы уверены? если я не ошибаюсь 301-й редирект ставится для гугла, а яндекс никогда не склеит если будет стоять редирект.

Dmitry V___v
На сайте с 07.12.2006
Offline
310
#9
T.R.O.N:
Нет, запись Гугл понимает, хотя говорит о предупреждении.

ТОлько что из webmaster tools->Анализ robots.txt


Результаты разбора Значение Результат
Crawl-delay: 60 Правило, которое не учитывается Googlebot
-------------------------------------------------------------
Результаты разбора Значение Результат
Host: xxxxx.ru Правило, которое не учитывается Googlebot

Напрямую сказал, что не учитывает 🙅

Shadow:
вы уверены? если я не ошибаюсь 301-й редирект ставится для гугла, а яндекс никогда не склеит если будет стоять редирект.

Яндекс его вполне адекватно понимает. Лишний повод не индексировать ненужное зеркало :)

Хотя я стараюсь не использовать, т.к. есть риск шустрого вылета из базы (по крайней мере, на своей шкуре испытал) :)

Создание и ведение кампаний Google/Bing/Twitter/FB Ads под USA, Canada, United Kingdom and Australia ( https://searchengines.guru/ru/forum/1028286 ) + жирный линкбилдинг под бурж ( https://searchengines.guru/ru/forum/1028282 )
Z
На сайте с 23.05.2007
Offline
69
#10
Shadow:
вы уверены? если я не ошибаюсь 301-й редирект ставится для гугла, а яндекс никогда не склеит если будет стоять редирект.

Ошибаетесь. 301-й редирект - это самый быстрый способ склеить зеркала в любой поисковой системе.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий