Форум Сайтостроение Администрирование серверов

Забанить ботов сканировщиков

J7
На сайте с 21.05.2011
Offline
3
josh73
1322

Просматривая логи сервера обнаружил, что каждый день мои сервера, а точнее сайты на них постоянно сканируют боты. Ищут: скрипты, cms, админки etc, делают странные GET запросы. Стоят дефолтные настройки iptables, включен SElinux. Как забанить ботов чтобы не повредить SE? и стоит ли вообще этим заниматься? Я так понимаю сканируют всех

Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#1

Если ты силен в регекспах - ставь mod_security

Не стоит плодить сущности без необходимости
DiAksID
На сайте с 02.08.2008
Offline
236
DiAksID
#2

для домена htaccess то на что? могу аж два арианта предложить, по доброте ;):

типа:

RewriteCond %{HTTP_USER_AGENT} liveinternet [OR]
RewriteCond %{HTTP_USER_AGENT} WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} Yanga [OR]
RewriteCond %{HTTP_USER_AGENT} Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} Flexum [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} libwww-perl
RewriteRule ^(.*)$ - [F,L]

или типа:

SetEnvIf User-Agent "htdig" ban
SetEnvIf User-Agent ^htdig$ ban
SetEnvIf User-Agent .*DotBot.* ban
.....
SetEnvIf User-Agent .*MJ12bot.* ban
SetEnvIf User-Agent .*KaloogaBot.* ban
<Files ~ "^.*$">
order allow,deny
#deny from all
allow from all
deny from env=ban
</Files>

слегка не удобно дублировать по доменам, но зато имеем независимые конфиги...

show must go on !!!...
kxk
На сайте с 30.01.2005
Offline
990
kxk
#3

josh73, Пример лог файла выложите

Ваш DEVOPS
[Удален]
#4
josh73:
Забанить ботов сканировщиков

Поставь аппаратный роутер-файервол.

В хорошем файерволе уже есть готовые схемы блокировки хитропопых ботов.

Выбирай схему, закрывай пинг из интернета к серверу и не будут тебя сканить.

Просто программными средствами, на уровне сервера, - бесполезно, только возрастет нагрузка, так как будут сканить с ещё бОльшим напором.

Если вошло в сервер - уже плохо.

Кто подскажет статистику использования Ищу простую мониторилку доступности Скликивание Adsense ботами /
Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#5

Федорыч, это в каком таком рутере есть готовые схемы блокировки?

[Удален]
#6
Andreyka:
в каком таком рутере есть готовые схемы блокировки?

Я пользуюсь Vigor2930n. Там есть готовая схема и можно добавить свои правила, сколько хош.

Его более дорогие собратья много интересней. Может у ТСа крутатеньские проекты, то и роутер можно крутатеньский купить.

Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#7

Ссылку на мануал не смог найти даже на сайте производителя. Какая-то непонятная железка.

[umka]
На сайте с 25.05.2008
Offline
456
[umka]
#8

Это же каёбочка для домашнего использования.

http://www.draytek.com/user/PdInfoDetail.php?Id=38

Вы предлагаете подключить через неё сервер?

Лог в помощь!
U
На сайте с 18.04.2010
Offline
14
ufkr
#9
Andreyka:
Какая-то непонятная железка.

Драйтековские железки хорошие,особенно 3300 серия,сердито и дешево,интерфейс сильно смахивает на DFL-левский..:)

ufkr добавил 22.05.2011 в 21:33

'[umka:
;8980055']Это же каёбочка для домашнего использования.
http://www.draytek.com/user/PdInfoDetail.php?Id=38
Вы предлагаете подключить через неё сервер?

Смотря что за сервер и какая на него нагрузка таки..конечно если из драйтеков то лучше думается 3200\3300 под такие дела..

Google о переносе сайтов Курсы и семинары в Google внес 4500 изменений
[Удален]
#10
'[umka:
;8980055']Это же каёбочка для домашнего использования.

Если сервера стоят дома, то эту каёбочку однозначно подключать дома (мои дома стоят, я уже писал об этом). Отлично справляется со своими задачами.

Для серверов в серверной - серия Vigor3300V+.

Каждому - своё.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий