Mozilla - это родовой признак всех браузеров?

Например Opera может прикидываться по разному, может:

Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0) Opera 5.11 [ru]

а может и:

Opera/5.12 (Windows 98; U) [ru]

может и под нетскейп косить.

В остальном, все идут с Mozilla/4 плюс в скобках доп. информация. У косящих под Mozill'у ботов здесь обычно написано кто это на самом деле, либо контактная информация.

То есть получается,

что нет браузера без Mozillы,

хотя не все то браузер, что имеет Mozillу?

Ну, за икслючением Opera, пожалуй.

Вообще есть. Где-то в ггуле я втречал список из UA таких нестандартных браузеров, когда хотел опознать одного бота из логов. Оказался браузер. Поищи, ключевое слово вряд ли вспомню..

Вот всякие not Mozilla like боты и агенты. Их немного в процентном отношении, в принципе.

AbachoBOT

Ad Muncher v4.21

ArchitextSpider

AST Comps

CGI

Charlotte/2.1.0 VM_ESA/2.4.0 CMS/15

cool-o-matic 1000

cosmos/0.8_(robot@xyleme.com)

Crawl_Application

Cuam Ver0.050bx

DSurf15a 11

Dual Proxy

EyeNetIE

Family Computer(compatible;Disk System;Family Basic V3)

GeoWhere CheckBot

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

Gulliver/1.3

HLoader

HotJava/1.0.1/JRE1.1.3

IBrowse/2.2 (AmigaOS V45)

JustView/2.0

LexiBot/1.00

libwww-perl/5.48

libwww-perl/5.53

Lynx/2.5FM libwww-FM/2.14

Lynx/2.7 libwww-FM/2.14

Lynx/2.7.1 libwww-FM/2.14

Lynx/2.7.1ac-0.24 libwww-FM/

Lynx/2.7.2 libwww-FM/2.14

Lynx/2.8.1pre.11 libwww-FM/2.14

Lynx/2.8.2rel.1 libwww-FM/2.14

Lynx/2.8.3rel.1

Lynx/2.8.3rel.1 libwww-FM/2.14 SSL-MM/1.4.1 OpenSSL/0.9.5a

Lynx/2.8rel.2 libwww-FM/2.14

MetaGer-LinkChecker

Microsoft URL Control - 6.00.8862

MIIxpc/4.2

mirror site WebWasher 3.0

MOT-C2/4.1.8 UP/4.1.16s UP.Browser/4.1.16s-XXXX UP.Link/4.2.2.9 (Google WAP Proxy/1.0)

NCSA_Mosaic/2.6 (X11;IRIX 4.0.5F IP12)

None Of Your Business

Nonofyourbusiness/1.0 (CP/M; 8-bit)

nsa3/NiS I[gEch; r,fie3x; rec1e4]

Nutscrape/1.0 (CP/M; 8-bit)

Nutscrape/9.0 (CP/M; 8-bit)

Opera/4.02 (Windows 98; U) [en]

Opera/5.0 (Linux 2.2.12-20 i686; U) [en]

Opera/5.0 (Linux 2.2.14-5.0 i586; U) [en]

Opera/5.0 (Linux 2.2.15asl-2 i686; U) [en]

Opera/5.0 (Linux 2.2.16-22 i586; U) [en]

Opera/5.0 (Linux 2.2.17 i586; U) [en]

Opera/5.0 (Linux 2.2.18 i686; U) [en]

Opera/5.0 (Linux 2.2.19-6.2.1 i686; U) [en]

Opera/5.0 (Linux 2.4.2 i686; U) [en]

Opera/5.0 (Linux 2.4.2-2 i686; U) [en]

Opera/5.0 (Linux 2.4.3-20mdk i586; U) [en]

Opera/5.0 (Linux 2.4.3-20mdk i686; U) [en]

Opera/5.0 (Linux; US) [en]

Opera/5.0 (Macintosh;US;PPC) TP [en]

Opera/5.0 (SunOS 5.7 sun4u; U) [en]

Opera/5.0 (Windows 98; U) [en]

Opera/5.0 (Windows NT 4.0; U) [en]

Opera/5.01 (Windows 98; U) [en]

Opera/5.02 (Windows 95; U) [en]

Opera/5.02 (Windows 98; U) [de]

Opera/5.02 (Windows 98; U) [en]

Opera/5.02 (Windows NT 4.0; U) [en]

Opera/5.02 (Windows NT 5.0; U) [en]

Opera/5.10 (Windows 2000; U) [en]

Opera/5.10 (Windows 98; U) [en]

Opera/5.10 (Windows NT 4.0; U) [en]

Opera/5.11 (Windows 2000; U) [de]

Opera/5.11 (Windows 2000; U) [en]

Opera/5.11 (Windows 2000; U) [it]

Opera/5.11 (Windows 95; U) [en]

Opera/5.11 (Windows 98; U) [de]

Opera/5.11 (Windows 98; U) [en]

Opera/5.11 (Windows 98; U) [es]

Opera/5.11 (Windows 98; U) [fr]

Opera/5.11 (Windows 98; U) [nl]

Opera/5.11 (Windows 98; U) [ru]

Opera/5.11 (Windows 98; U) OCV11 [en]

Opera/5.11 (Windows ME; U) [en]

Opera/5.11 (Windows NT 4.0; U) [en]

Opera/5.11 (Windows NT 4.0; U) [en] WebWasher 2.1.1

Opera/5.11 (Windows NT 4.0; U) OCV11 [en]

Opera/5.12 (Windows 2000; U) [de]

Opera/5.12 (Windows 2000; U) [en]

Opera/5.12 (Windows 2000; U) [es]

Opera/5.12 (Windows 95; U) [en]

Opera/5.12 (Windows 95; U) [es]

Opera/5.12 (Windows 98; U) [de]

Opera/5.12 (Windows 98; U) [en]

Opera/5.12 (Windows 98; U) [en] WebWasher 2.2

Opera/5.12 (Windows 98; U) [en] WebWasher 3.0

Opera/5.12 (Windows 98; U) [es]

Opera/5.12 (Windows 98; U) [fr]

Opera/5.12 (Windows 98; U) [nl]

Opera/5.12 (Windows 98; U) OCV2 [en]

Opera/5.12 (Windows ME; U) [en]

Opera/5.12 (Windows ME; U) [fr]

Opera/5.12 (Windows NT 4.0; U) [de]

Opera/5.12 (Windows NT 4.0; U) [en]

Panelinio

Pockey/4.9.1(Win32; GUI; ix86)

Proxy-User

psbot/0.1 (+http://www.picsearch.com/bot.html)

RepoMonkey Bait & Tackle/v1.01

Schwule Madchen/0.02 [fu] (MsDos; X; SA)

Scooter-W3-1.0

ScoreBot/5 libwww-perl/5.53

SEC02 UP.Browser/4.1.22b UP.Link/4.3.3.1 (Google WAP Proxy/1.0)

Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html)

SpaceBison/0.01 [fu] (Win67; X; ShonenKnife)

SpaceBison/0.01 [fu] (Win67; X; SK)

Unknown/1.0 (Unknown/1.0; 999-bit)

Web Downloader/4.5

Webster Pro V3.0 Webster Pro V3.1 Win32

Огромное спасибо!!!

а я вот здесь немногно нашел:

http://www.spiderhunter.com/nonspiders/

Весьма признателен!

а зачем Вам это?

Для реализации механизма Doorway. Когда агент получает страницу, можно определить его подпись, в зависимости от этого выполняется или невыполняется скрипт переадресации. То есть те агенты, которые подпадут под определние как браузеры (именно поэтому я и спросил, является ли слово "Mozilla" общим для всех браузеров), перенаправятся на сайт, а те, кто под определение не попадет, останутся на этой странице. Причем чтобы забанить этот сайт, робот должен очень тонко разбираться в JavaScript, поскольку перенаправление происходить при реализации определнных условий и не используется событие onLoad. В общем, это должен быть не робот, а монстр какой-то.

А основная цель - перепроска пользователей с обычным браузером с доорвея на основной сайт, поскольку иметь входную страницу с отсутствием дизайна не позволяет статус сайта...

В общем, ход рассуждений был примерно таким.

Клоак на яве по полю User-Agent. Идея, скорее всего, возникшая от ощущения себя крутым кодером на JavaScript. При этом за бортом сайта останутся очень многие, чьи броузеры выдают нестандартное значение User-Agent. Просто потому, что все возможные значения ты просто не пропишешь - это раз.

Все значения, которые ты найдешь, надо будет впихнуть в тело страницы - это два.

Примерно 10-15% серферов ходят по Сети с отключенной явой, их ты оставишь за бортом - это три.

Роботы вообще не читают JavaScript, так что подобные ухищрения ни к чему. Даже если он прикинется броузером, это ему не поможет.

В заключение - некоторые экзотические User-Agent, выловленные из реальных логов.

PPPPPPPPPPPPPPPPPP

Pockey/4.10.0(Win32; GUI; ix86)

Pockey/4.9.1(Win32; GUI; ix86)

RepoMonkey Bait & Tackle/v1.01

WebLeacher 2.1 (DigExt)

WebSauger 1.20i

3WebCapture 1.0 (Windows)

WebFetch

WebWasher

ja ja ja ja ja ja ja ja ja ja

netbox/3.5 R92.2 (Linux 2.2)

netbox/3.5 R92.5 (Linux 2.2)

Ask Jeeves)" (Ask Jeeves)

Blocked by Norton

Custo 1.1 (www.netwu.com)

DISCo Pump 3.1 DnloadMage 1.0)" (DnloadMage 1.0)

GetRight/4.1.1

GetRight/4.2

GetRight/4.2c

HiddenSurf.com/1.13d [en] (http://HiddenSurf.com)

ICS 1.3.72a)" (ICS 1.3.72a)

IPC450663544c-87753G3

Inet library

InterTran (tm)/2.01 (Unix)

Iria/1.07a

Iria/1.07s9a

SSearch150

SpaceBison/0.01 [fu] (Unix; X; ShonenKnife)

U-P-S VCI WebViewer VCI WebViewer Win32

WebCopier v.2.2

Webdup/0.8

aaaa.

eCatch/3.0

BiDi MSIE 3.02 (Windows 95)

ChinaClaw/1.

Geht keinen was an

JO3t7uz8FD

И два просто-таки шедевра

- ...i owe my life to Microsoft...

- MSIE/5.6 (Linux)