обход страниц на сайте выполняя javascript

S4
На сайте с 23.08.2010
Offline
68
1304

Периодически у себя в логах наблюдаю такую картину :

кусок лога апача :

...

95.25.85.204 - - [16/Aug/2011:21:22:31 +0400] "GET /домен-svoimiem.html HTTP/1.0" 200 38279 "http://yandex.ru/yandsearch?text=%ef%e5%f0...........ee%ef%ee%ed%e8%ea%e0" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

176.14.165.167 - - [16/Aug/2011:21:22:33 +0400] "GET /домен-svoimi-rukami/myopit/samodelnyj-jelektronnyj-ph-metr.html HTTP/1.0" 200 36531 "http://yandex.ru/yandsearch?text=%f1%e0%%f1%f2" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

95.26.42.124 - - [16/Aug/2011:21:22:38 +0400] "GET /plugins/content/extranews/css/extranews.css HTTP/1.0" 200 413 "http://www.домен.su/домен.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.5 (build 01399); snprtz|S04757220290069; .NET CLR 1.1.4322)"

95.26.65.209 - - [16/Aug/2011:21:22:38 +0400] "GET /plugins/content/extranews/css/dhtmltooltip.css HTTP/1.0" 200 531 "http://www.домен.su/доnika.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.5 (build 01399); snprtz|S04757220290069; .NET CLR 1.1.4322)"

95.26.170.113 - - [16/Aug/2011:21:22:39 +0400] "GET /modules/mod_superfishmenu/tmpl/css/superfish.css HTTP/1.0" 200 4088 "http://www.домен.su/дa.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.5 (build 01399); snprtz|S04757220290069; .NET CLR 1.1.4322)"

95.26.183.209 - - [16/Aug/2011:21:22:39 +0400] "GET /plugins/content/joomslide/highslide/highslide.css HTTP/1.0" 200 11348 "http://www.домен.su/домен-svo-metr.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

95.220.207.119 - - [16/Aug/2011:21:22:38 +0400] "GET /plugins/content/joomslide/highslide/highslide.css HTTP/1.0" 200 11348 "http://www.домен.su/домен-aniem.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

95.26.248.108 - - [16/Aug/2011:21:22:39 +0400] "GET /plugins/content/extranews/css/extranews.css HTTP/1.0" 200 413 "http://www.домен.su/домен-vaniem.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

95.220.168.59 - - [16/Aug/2011:21:22:39 +0400] "GET /modules/mod_superfishmenu/tmpl/css/superfish-vertical.css HTTP/1.0" 200 922 "http://www.домен.s.....oponika.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.5 (build 01399); snprtz|S04757220290069; .NET CLR 1.1.4322)"

89.178.248.55 - - [16/Aug/2011:21:22:39 +0400] "GET /plugins/content/extranews/css/dhtmltooltip.css HTTP/1.0" 200 531 "http://www.домен.su/домен-svaniem.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

95.220.239.252 - - [16/Aug/2011:21:22:39 +0400] "GET /plugins/content/extranews/css/extranews.css HTTP/1.0" 200 413 "http://www.домен.su/домеtml" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

95.221.73.115 - - [16/Aug/2011:21:22:39 +0400] "GET /plugins/content/extranews/css/dhtmltooltip.css HTTP/1.0" 200 531 "http://www.домен.su/дetr.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

....

Раньше думал , что это реал чел (т.к. приходит с поисковика), через кучу проксей. Но это повторяется с четкой периодичностью и нет "задержки" между запросами, т.е. страницу никто не просматривет.

Отсюда вопрос - что это за бот, который как бот гугла выполняет скрипты на сайте (ссылки скриптовые, по которым он ходит) и зачем он грузит всё подряд включая стили ?

Если я неправильно выбрал раздел, то прошу перенести.

php python *nix
FE
На сайте с 23.12.2010
Offline
8
#1

Это какой-то ботнет Корбины. На многих сайтах с ним сталкивался.

Налетает, массово сканит страницы, уходит на какое-то время.

Что такое и зачем - до сих пор непонятно. Только статистику периодически сильно перекашивает своими посещениями. А отфильтровать по IP невозможно, поскольку с этих же IP ходят реальные люди.

S
На сайте с 28.10.2005
Offline
296
#2

Обратите внимание, URL-кодированные данные в рефере с Яндекса в нижнем регистре и нет переменной с указанием региона

Постоянно его в логах вижу, если это хитробот, то чото не сильно маскируется

S4
На сайте с 23.08.2010
Offline
68
#3
semenov:
Обратите внимание, URL-кодированные данные в рефере с Яндекса в нижнем регистре и нет переменной с указанием региона

Спасибо, попробую по этому признаку его посылать...

Но всё таки смысла не вижу читать стили и выполнять скрипты (что вообще бред) если это простое воровство контента...

S
На сайте с 28.10.2005
Offline
296
#4

Возможно чей-то ботнет с поведенческим эксперементирует

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий