Форум Сайтостроение Веб-строительство

Какое значение User-agent у запросов от поисковых роботов?

zexis
На сайте с 09.08.2005
Offline
388
zexis
1969

Хочу в лог файле Apache найти запросы от поисковых роботов.

Предполагаю, что у поисковых роботов что то написано в поле User-agent, запроса HTTP.

По этому полю User-agent предполагаю идентифицировать запросы от поисковых роботов.

Вопросы.

1. Что передают в поле User-agent наиболее известные поисковики?

2. Бывает ли что роботы поисковиков маскируются под пользователей и в поле User-agent передают что то типа "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;"

Интересуют наиболее известные поискови: Яндекс, рамблер, гугл и т.д.

Антон Каленик
На сайте с 23.06.2008
Offline
130
Антон Каленик
#1

Accoona Accoona-AI-Agent/1.1.2 (aicrawler at accoonabot dot com)

Alexa ia_archiver

antabot (private) antabot(http://www.anta.net/spider/)/1.0

Ask.com/Teoma Mozilla/2.0 (compatible; Ask Jeeves/Teoma)

Baidu Spider Baiduspider (+http://www.baidu.com/search/spider.htm)

cURL на Mac OS X для PowerPC (public) curl/7.13.1 (powerpc-apple-darwin8.0) libcurl/7.13.1 OpenSSL/0.9.7b zlib/1.2.2

EltaIndexer EltaIndexer

Feedfetcher-Google (Feedfetcher-Google) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; X subscribers; feed-id=XXXXXXXXXXXXXXXXXXXX)

GameSpy HTTP (GameSpy) GameSpyHTTP/1.0

Gigabot (Gigablast) Gigabot/2.0

Googlebot (Google) Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot alternate Mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)

Googlebot-Image (Google) Googlebot-Image/1.0

Google Search Appliance (Google) gsa-crawler

Grub (usage: public) (owner: LookSmart) Mozilla/4.0 (compatible; grub-client-1.4.3; Crawl your own stuff with http://grub.org) Mozilla/4.0 (compatible; grub-client-2.3)

Gulper Web Bot Gulper Web Bot/0.2.4 (www.ecsl.cs.sunysb.edu/~maxim/cgi-bin/Link/GulperBot)

Inktomi Slurp

(superseded by Yahoo! Slurp) Mozilla/3.0 (Slurp/si; slurp@inktomi.com; http://www.inktomi.com/slurp.html)

Mihalism Bot MihalismBot/1.1 (+http://www.mihalism.com/)

Msnbot

(Microsoft’s MSN Search) Msnbot/1.0 (+http://search.msn.com/msnbot.htm)

OmniExplorer_Bot

(Feeds Vast.com) OmniExplorer_Bot/6.70 (+http://www.omni-explorer.com) WorldIndexer

PageBull Pagebull http://www.pagebull.com/

Scooter (AltaVista) Scooter-3.2.EX

W3C Validator W3C_Validator/1.432.2.22

W3C CSS Validator Jigsaw/2.2.5 W3C_CSS_Validator_JFouffa/2.0

WebAlta Crawler WebAlta Crawler/1.3.25 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)

wget

(public) Wget/1.9

YahooFeedSeeker YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide; users X; views X)

Yahoo! Slurp

(Yahoo!) Mozilla/5.0 (compatible; Yahoo! Slurp;http://help.yahoo.com/help/us/ysearch/slurp)

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

Yahoo!-MMCrawler

(Yahoo!) Yahoo!-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)

YandexBlog YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) X readers

YandexSomething YandexSomething/1.0

Yandex Yandex/1.01.001 (compatible; Win16; I)

Avenger
На сайте с 22.07.2007
Offline
47
Avenger
#2

рамблера забыли

StackRambler/2.0 (MSIE incompatible)

С уважением, Андрей Головнев (http://golovnev.by/)
Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#3

обновляемый список агентов для browscap.ini

http://browsers.garykeith.com/downloads.asp

www.shtogrin.com (http://www.shtogrin.com/). Канцтовары (http://www.invit.com.ua/). 1С Бухгалтерия (http://account.kiev.ua/).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий