Странное поведение ботов Яндекса

R
На сайте с 31.08.2003
Offline
16
697

Такая ситуация. Над формой для поиска в каталоге, есть надпись "Например: поисковая_фраза". Вот эта самая фраза каждый раз выбирается случайным образом из списка. Когда бот заходит, он хавает эти ссылочки, получает страницу результатов поиска и уходит. В тоже время если посетитель ищет что-либо в каталоге, для статистки записывается фраза и его ip, дабы исключить себя из статистики поиска. Ну и как обычно смотрю по логам сервера и вижу такую ситуацию, есть заход с ip-шником Яндексовой сети и юзер агент индексирующего бота, но весь прикол в том, что слово которое он искал, в том самом списке не присутствует, тоесть где он его взял не известно. Но это пол беды. Смотрю по статистике поиска, и вижу что такая фраза искалась и вот адреса тех кто это делал:

glagol.yandex.ru

ya.yandex.ru.

Теперь сижу и не могу понять, никогда такого небыло, чтобы бот отбивался в статистике. Объясните что это такое.

P.S. Кстати, ту же фигню пронаблюдал с адреса crawler14.googlebot.com, только этот взял фразу из списка.

Удобный портал (http://www.ukrweb.com.ua), Все о компьютерах (http://www.4pc.info)
wolf
На сайте с 13.03.2001
Offline
1183
#1
которое он искал, в том самом списке не присутствует, тоесть где он его взял не известно.

Вполне возможно, что кто-то извне сослался на результаты поиска по Вашему каталогу, а робот пришел по этой ссылке.

Кстати, за намеренную индексацию результатов поиска вполне можно попасть под санкции. Помню, довольно давно, года полтора-два назад тут был тред о том, что Яндекс забанил некий сайт за то, что ему скармливали на индексацию страницы с этого сайта с результатами поиска.

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
R
На сайте с 31.08.2003
Offline
16
#2
Как писал wolf


Кстати, за намеренную индексацию результатов поиска вполне можно попасть под санкции. Помню, довольно давно, года полтора-два назад тут был тред о том, что Яндекс забанил некий сайт за то, что ему скармливали на индексацию страницы с результатами поиска.

Возможно, но как я заметил, довольно много сайтов пользуется этим премом. На новостных сайтах это повсеместно. Многих прийдется забанить.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий