Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Робот Яндекса

K
На сайте с 11.04.2008
Offline
42
kmrts
463

Здравствуйте...

Уже часа три, как бот Яндекса с IP 95.108.240.251 шуршит по сайту.

Причем директива Disallow ему по барабану.

Disallow в robots.txt закрыты тэги, так он их как по книжке подряд читает.

Раньше такого не замечал, и в индексе тэги отсутствовали.

Кто дока в таком вопросе, подскажите, чего ждать?

kmrts добавил 07.12.2011 в 00:26

Не нравится мне все это.

Проверил три СДЛ, на них висит Яшкин бот с IP 77.88.30.247.

Ведет себя тихо и спокойно, в отличие от указанного выше.

F
На сайте с 16.01.2010
Offline
267
futuristian
#1

Директива Disallow как бы запрещает роботам добавлять контент в индекс, а ходить по сайту им никто не запрещал. Есть ссылки - он по ним ходит, но берёт только то, что не запрещено. Конечно если Disallow у вас правильно прописан, как и вообще составлен robots.txt.

Куда ещё жаловаться? Удалить каталог из индекса Документ запрещен в файле
K
На сайте с 11.04.2008
Offline
42
kmrts
#2

Меня смущает сам бот.

Раньше ботов от Яндекса с таким IP я не видел.

Какое его назначение?

Прошло около 5 часов, он продолжает лазить по сайту. Изменений по индексу не вижу.

Как правило, появление бота с IP 77.88.30.247 буквально через пару часов "давало" прирост страниц в индекс.

Накручивают поведенческое (чего хотят Индексация блогов 25.07 Апп

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий