Форум Сайтостроение Веб-строительство

Определение роботов Яндекса

PMDev
На сайте с 05.04.2010
Offline
4
PMDev
697

Уважаемые форумчане!

Есть задача, определить по полю User-Agent роботов Яндекса, которые заходят на сайт. В Интете море информации по этому вопросу: Yandex/1.01.001, Yandex/2.01.000 ... Dyatel и пр. Но! На практике все не так уж просто. Я написал скрипт, который ищет в User-Agent признаки поисковых роботов Яндекса, и при их наличии фиксирует инфу в БД. Скрипт выполняется на сайте уже второй месяц и фиксирует роботов Гугла, Рамблера, Нигмы... А вот Яндекс никак не определяет. Сайт постоянно индексируется (страницы в индексе Яши обновляются и ТИЦ за месяц подрос), значит робот заглядывает на сайт.

Если кто знает хоть что-то по этому вопросу, достоверно проверенное на практике - поделитесь.

Заранее благодарен.

4arger
На сайте с 17.12.2008
Offline
95
4arger
#1

я их так ловил:

Win16; I

Win16; P

Win16; D

кстати, у Яндекса подробная инфа есть.

AlikZP
На сайте с 22.11.2009
Offline
107
AlikZP
#2

Я использую такой скрипт для определения роботов, может пригодится 

$bot = 'Unknown';

if (stristr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'YaDirect')){ $bot='Yandex Direct';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google (Adsense)';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot Bot search';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler search';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut search';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Aport')){$bot='Aport';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}
Website CMS: быстрая, удобная, недорогая! Вечная лицензия за 45$ (/ru/forum/524503) Яся - быстрый поиск фото для товаров. OpenCart/ocStore. Дополнение. (/ru/forum/665287) Грамотная верстка ваших макетов (/ru/forum/comment/8853216)
PMDev
На сайте с 05.04.2010
Offline
4
PMDev
#3

AlikZP и 4arger, большое спасибо. Попробую поэкспериментировать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий