- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Господа!
Хотелось бы узнать, особенно интересно мнение тех, кто может в логах сервера ослеживать имена user-agent'ов, следующее:
имеется ли в заголовке User-agent HTTP запроса любого браузера слово Mozilla? Имеется в виду, что если не браузер (скажем , паук) прикинется браузером, то ничего страшного. Главное, чтобы человек, который пользует какой-нибудь экзотически браузер, не остался за бортом сайта.
Спаибо
Например Opera может прикидываться по разному, может:
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0) Opera 5.11 [ru]
а может и:
Opera/5.12 (Windows 98; U) [ru]
может и под нетскейп косить.
В остальном, все идут с Mozilla/4 плюс в скобках доп. информация. У косящих под Mozill'у ботов здесь обычно написано кто это на самом деле, либо контактная информация.
То есть получается,
что нет браузера без Mozillы,
хотя не все то браузер, что имеет Mozillу?
Ну, за икслючением Opera, пожалуй.
Вообще есть. Где-то в ггуле я втречал список из UA таких нестандартных браузеров, когда хотел опознать одного бота из логов. Оказался браузер. Поищи, ключевое слово вряд ли вспомню..
Вот всякие not Mozilla like боты и агенты. Их немного в процентном отношении, в принципе.
AbachoBOT
Ad Muncher v4.21
ArchitextSpider
AST Comps
CGI
Charlotte/2.1.0 VM_ESA/2.4.0 CMS/15
cool-o-matic 1000
cosmos/0.8_(robot@xyleme.com)
Crawl_Application
Cuam Ver0.050bx
DSurf15a 11
Dual Proxy
EyeNetIE
Family Computer(compatible;Disk System;Family Basic V3)
GeoWhere CheckBot
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Gulliver/1.3
HLoader
HotJava/1.0.1/JRE1.1.3
IBrowse/2.2 (AmigaOS V45)
JustView/2.0
LexiBot/1.00
libwww-perl/5.48
libwww-perl/5.53
Lynx/2.5FM libwww-FM/2.14
Lynx/2.7 libwww-FM/2.14
Lynx/2.7.1 libwww-FM/2.14
Lynx/2.7.1ac-0.24 libwww-FM/
Lynx/2.7.2 libwww-FM/2.14
Lynx/2.8.1pre.11 libwww-FM/2.14
Lynx/2.8.2rel.1 libwww-FM/2.14
Lynx/2.8.3rel.1
Lynx/2.8.3rel.1 libwww-FM/2.14 SSL-MM/1.4.1 OpenSSL/0.9.5a
Lynx/2.8rel.2 libwww-FM/2.14
MetaGer-LinkChecker
Microsoft URL Control - 6.00.8862
MIIxpc/4.2
mirror site WebWasher 3.0
MOT-C2/4.1.8 UP/4.1.16s UP.Browser/4.1.16s-XXXX UP.Link/4.2.2.9 (Google WAP Proxy/1.0)
NCSA_Mosaic/2.6 (X11;IRIX 4.0.5F IP12)
None Of Your Business
Nonofyourbusiness/1.0 (CP/M; 8-bit)
nsa3/NiS I[gEch; r,fie3x; rec1e4]
Nutscrape/1.0 (CP/M; 8-bit)
Nutscrape/9.0 (CP/M; 8-bit)
Opera/4.02 (Windows 98; U) [en]
Opera/5.0 (Linux 2.2.12-20 i686; U) [en]
Opera/5.0 (Linux 2.2.14-5.0 i586; U) [en]
Opera/5.0 (Linux 2.2.15asl-2 i686; U) [en]
Opera/5.0 (Linux 2.2.16-22 i586; U) [en]
Opera/5.0 (Linux 2.2.17 i586; U) [en]
Opera/5.0 (Linux 2.2.18 i686; U) [en]
Opera/5.0 (Linux 2.2.19-6.2.1 i686; U) [en]
Opera/5.0 (Linux 2.4.2 i686; U) [en]
Opera/5.0 (Linux 2.4.2-2 i686; U) [en]
Opera/5.0 (Linux 2.4.3-20mdk i586; U) [en]
Opera/5.0 (Linux 2.4.3-20mdk i686; U) [en]
Opera/5.0 (Linux; US) [en]
Opera/5.0 (Macintosh;US;PPC) TP [en]
Opera/5.0 (SunOS 5.7 sun4u; U) [en]
Opera/5.0 (Windows 98; U) [en]
Opera/5.0 (Windows NT 4.0; U) [en]
Opera/5.01 (Windows 98; U) [en]
Opera/5.02 (Windows 95; U) [en]
Opera/5.02 (Windows 98; U) [de]
Opera/5.02 (Windows 98; U) [en]
Opera/5.02 (Windows NT 4.0; U) [en]
Opera/5.02 (Windows NT 5.0; U) [en]
Opera/5.10 (Windows 2000; U) [en]
Opera/5.10 (Windows 98; U) [en]
Opera/5.10 (Windows NT 4.0; U) [en]
Opera/5.11 (Windows 2000; U) [de]
Opera/5.11 (Windows 2000; U) [en]
Opera/5.11 (Windows 2000; U) [it]
Opera/5.11 (Windows 95; U) [en]
Opera/5.11 (Windows 98; U) [de]
Opera/5.11 (Windows 98; U) [en]
Opera/5.11 (Windows 98; U) [es]
Opera/5.11 (Windows 98; U) [fr]
Opera/5.11 (Windows 98; U) [nl]
Opera/5.11 (Windows 98; U) [ru]
Opera/5.11 (Windows 98; U) OCV11 [en]
Opera/5.11 (Windows ME; U) [en]
Opera/5.11 (Windows NT 4.0; U) [en]
Opera/5.11 (Windows NT 4.0; U) [en] WebWasher 2.1.1
Opera/5.11 (Windows NT 4.0; U) OCV11 [en]
Opera/5.12 (Windows 2000; U) [de]
Opera/5.12 (Windows 2000; U) [en]
Opera/5.12 (Windows 2000; U) [es]
Opera/5.12 (Windows 95; U) [en]
Opera/5.12 (Windows 95; U) [es]
Opera/5.12 (Windows 98; U) [de]
Opera/5.12 (Windows 98; U) [en]
Opera/5.12 (Windows 98; U) [en] WebWasher 2.2
Opera/5.12 (Windows 98; U) [en] WebWasher 3.0
Opera/5.12 (Windows 98; U) [es]
Opera/5.12 (Windows 98; U) [fr]
Opera/5.12 (Windows 98; U) [nl]
Opera/5.12 (Windows 98; U) OCV2 [en]
Opera/5.12 (Windows ME; U) [en]
Opera/5.12 (Windows ME; U) [fr]
Opera/5.12 (Windows NT 4.0; U) [de]
Opera/5.12 (Windows NT 4.0; U) [en]
Panelinio
Pockey/4.9.1(Win32; GUI; ix86)
Proxy-User
psbot/0.1 (+http://www.picsearch.com/bot.html)
RepoMonkey Bait & Tackle/v1.01
Schwule Madchen/0.02 [fu] (MsDos; X; SA)
Scooter-W3-1.0
ScoreBot/5 libwww-perl/5.53
SEC02 UP.Browser/4.1.22b UP.Link/4.3.3.1 (Google WAP Proxy/1.0)
Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html)
SpaceBison/0.01 [fu] (Win67; X; ShonenKnife)
SpaceBison/0.01 [fu] (Win67; X; SK)
Unknown/1.0 (Unknown/1.0; 999-bit)
Web Downloader/4.5
Webster Pro V3.0 Webster Pro V3.1 Win32
Огромное спасибо!!!
а я вот здесь немногно нашел:
http://www.spiderhunter.com/nonspiders/
Весьма признателен!
Весьма признателен! </font>
а зачем Вам это?
Для реализации механизма Doorway. Когда агент получает страницу, можно определить его подпись, в зависимости от этого выполняется или невыполняется скрипт переадресации. То есть те агенты, которые подпадут под определние как браузеры (именно поэтому я и спросил, является ли слово "Mozilla" общим для всех браузеров), перенаправятся на сайт, а те, кто под определение не попадет, останутся на этой странице. Причем чтобы забанить этот сайт, робот должен очень тонко разбираться в JavaScript, поскольку перенаправление происходить при реализации определнных условий и не используется событие onLoad. В общем, это должен быть не робот, а монстр какой-то.
А основная цель - перепроска пользователей с обычным браузером с доорвея на основной сайт, поскольку иметь входную страницу с отсутствием дизайна не позволяет статус сайта...
В общем, ход рассуждений был примерно таким.
Клоак на яве по полю User-Agent. Идея, скорее всего, возникшая от ощущения себя крутым кодером на JavaScript. При этом за бортом сайта останутся очень многие, чьи броузеры выдают нестандартное значение User-Agent. Просто потому, что все возможные значения ты просто не пропишешь - это раз.
Все значения, которые ты найдешь, надо будет впихнуть в тело страницы - это два.
Примерно 10-15% серферов ходят по Сети с отключенной явой, их ты оставишь за бортом - это три.
Роботы вообще не читают JavaScript, так что подобные ухищрения ни к чему. Даже если он прикинется броузером, это ему не поможет.
В заключение - некоторые экзотические User-Agent, выловленные из реальных логов.
PPPPPPPPPPPPPPPPPP
Pockey/4.10.0(Win32; GUI; ix86)
Pockey/4.9.1(Win32; GUI; ix86)
RepoMonkey Bait & Tackle/v1.01
WebLeacher 2.1 (DigExt)
WebSauger 1.20i
3WebCapture 1.0 (Windows)
WebFetch
WebWasher
ja ja ja ja ja ja ja ja ja ja
netbox/3.5 R92.2 (Linux 2.2)
netbox/3.5 R92.5 (Linux 2.2)
Ask Jeeves)" (Ask Jeeves)
Blocked by Norton
Custo 1.1 (www.netwu.com)
DISCo Pump 3.1 DnloadMage 1.0)" (DnloadMage 1.0)
GetRight/4.1.1
GetRight/4.2
GetRight/4.2c
HiddenSurf.com/1.13d [en] (http://HiddenSurf.com)
ICS 1.3.72a)" (ICS 1.3.72a)
IPC450663544c-87753G3
Inet library
InterTran (tm)/2.01 (Unix)
Iria/1.07a
Iria/1.07s9a
SSearch150
SpaceBison/0.01 [fu] (Unix; X; ShonenKnife)
U-P-S VCI WebViewer VCI WebViewer Win32
WebCopier v.2.2
Webdup/0.8
aaaa.
eCatch/3.0
BiDi MSIE 3.02 (Windows 95)
ChinaClaw/1.
Geht keinen was an
JO3t7uz8FD
И два просто-таки шедевра
- ...i owe my life to Microsoft...
- MSIE/5.6 (Linux)