Как забанить бота по юзерагенту?

12 3
Sower
На сайте с 30.12.2009
Offline
647
1933

Бот представляется "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" и использует прокси сервера. Как от него избавиться?

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
Himiko
На сайте с 28.08.2008
Offline
560
#1
Sower:
Бот представляется "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" и использует прокси сервера. Как от него избавиться?

Т.е. забанить всех с браузера?)

А фильтровать можно даже через nginx.

Профессиональное администрирование серверов (https://systemintegra.ru). Круглосуточно. Отзывы (/ru/forum/834230) Лицензии (http://clck.ru/Qhf5) ISPManager,VDSManager,Billmanager e.t.c. по низким ценам.
Sower
На сайте с 30.12.2009
Offline
647
#2
Himiko:
Т.е. забанить всех с браузера?)

Всех, с таким юзерагентом.

Raistlin
На сайте с 01.02.2010
Offline
247
#3

Sower, Точнее, всех с браузером... Firefox.

HostAce - Асы в своем деле (http://hostace.ru)
Sower
На сайте с 30.12.2009
Offline
647
#4
Raistlin:
Sower, Точнее, всех с браузером... Firefox.

Там кроме браузера, в скобках, ни каких дополнительных параметров нет?

Raistlin
На сайте с 01.02.2010
Offline
247
#5

Sower, Мда... У вашего бразера какой юзер-агент? У моей мозиллы по дефолту именно такой. Не задавайте таких вопросов, а то я в людях разочаруюсь ;).

Sower
На сайте с 30.12.2009
Offline
647
#6
Raistlin:
Sower, Мда... У вашего бразера какой юзер-агент?

"Mozilla/5.0 (Windows; U; Windows NT 5.1; rv:1.9.2.12)"

Отличий нет?

При посещаемости более 5K живых посетителей, 99% от числа общих обращений к страницам на сервере, с таким юзерагентом как я указал выше, идёт с одних и тех же прокси адресов со скоростью несколько страниц в секунду.

Допускаю, что могут постадать еденичные посетители (капля в море), что не принципеально.

Вопрос в другом, возможно ли банить посетителей по точному вхождению юзерагента.

Raistlin
На сайте с 01.02.2010
Offline
247
#7
Sower:
одних и тех же прокси адресов со скоростью несколько страниц в секунду.

Побанить прокси не судьба?

Himiko
На сайте с 28.08.2008
Offline
560
#8
Sower:

Вопрос в другом, возможно ли банить посетителей по точному вхождению юзерагента.

Я уже написал, что можно, если используется nginx к примеру.

zexis
На сайте с 09.08.2005
Offline
388
#9

В NGINX есть такая возможность забанить по юзерагенту.

Но может лучше банить бота не по юзерагенту, а по факту превышения им лимита на количестово запросов, коннектов?

A
На сайте с 03.08.2009
Offline
121
#10
Raistlin:
Sower, Мда... У вашего бразера какой юзер-агент? У моей мозиллы по дефолту именно такой. Не задавайте таких вопросов, а то я в людях разочаруюсь ;).

Можно как Himiko сказал, можно банально грепать и в табличку ipfw или чегото другого..

На подобии:

cat /var/log/nginx-access.log | grep "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" | awk '{print $1}' | cut -d. -f1 -f2 -f3 | sort -n | uniq -c | sort -n | awk '{if ($1>10){print "ipfw table 1 add "$2".0/24"}}' | sh

--

или без if ($1>10), если всех подряд, или без .0/24.. было бы желание :)

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий