Анализатор логов вебсервера для поиска ддос

zexis
На сайте с 09.08.2005
Offline
358
#11
Caviar:
ну например так:
cut -d" " -f1 access_log|sort|uniq -c|sort -n
потом смотрим зачем пришли топовые ипы , ну или сразу в iptables самых рьяных

при необходимости процесс выявления-блокировки автоматизируем.

еще error логи нжинкса можно смотреть на предмет систематического превышения limit_conn

Таким алгоритмом вы забаните лишь IP, которые больше всего кликали.

От простых атак школьников это защитит.

Если же ддос ботов будет много и каждый будет обращаться не часто и не превышать лимитов nginxa, то таким алгоритмом ботов будет не найти.

Например.

Атака из 2000 ботов. Каждый бот делает 10 запросов в минуту к разным PHP файлам.

Каждые 10 минут ботнет меняет IP.

Такую атаку вы простым банном самых активных IP адресов не забаните.

Нужны более продвинутые алгоритмы.

Caviar:

Правда все это барахтанье провоцировало мощный ддос, с последующим закрытием серва на аплинках хостером.

Наверное хакер сделал атаку такую как я описал выше и ваш алгоритм уже не мог найти IP ботов.

ApocX:
Вот это может подойдет?

Посмотрел.

Там всего лишь описана блокировка тех кто превысил лимты nginx.

Хочется находить тех кто не превышает лимиты .

C
На сайте с 11.01.2010
Offline
45
#12
zexis:
Таким алгоритмом вы забаните лишь IP, которые больше всего кликали.
Например.
Атака из 2000 ботов. Каждый бот делает 10 запросов в минуту к разным PHP файлам.
Каждые 10 минут ботнет меняет IP.

Такую атаку вы простым банном самых активных IP адресов не забаните
Нужны более продвинутые алгоритмы.

Не сталкивался, но я бы поступил так:

-запретить доступ из левых сетей(африканских,китайских,etc)

-разрешить доступ ботам ПС

-Разрешить доступ постоянным посетителям(из старых access логов,из базы цмски(если есть возможность)

-на индексной странице сделал бы скрипт "проверки человечности",для ip не входящих в вышеуказанные категории,обычная каптча. Если происходит больше N запросов к индексному файлу,но каптча не пройдена айпишник идет в iptables.

ТС, а Вы сталкивались с такими интеллектуальными ботнетами?

zexis:


Наверное хакер сделал атаку такую как я описал выше и ваш алгоритм уже не мог найти IP ботов.

Нет, у хостера начала лагать сетка и он закрыл ip у канального провайдера. Если бы он этого не сделал- клиент попал бы на деньги из-за превышения соотношеня ,как минимум.

PS Атака прекратилась через сутки,видимо у заказчиков кончились деньги)

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#13

Драсти,

Не забываем так же что Firewall это не панацея :) Трафик продолжает приходить и обрабатываться ядром, он конечно реджектится или денайдится, но обрабатывается! Из вменяемых вариантов видел только промежуточные устройства (transparent) которые занимаются отслеживанием и блокировкой трафика согласно установленным правилам. Софтовое решение может иметь смысл только в том случае, если ваш софт, к примеру подаст SNMP запрос на маршрутизатор вашего ISP (или ваш маршрутизатор) тем самым зароутив IP злоумышленника в Null0 (тем самым сняв нагрузку с вашего CPU от обработки пакетов которые продолжают приходить не смотря на iptables или недай бог .htaccess :)))))) ).

Программные продукты ("от DDoS") призваны только к мониторингу и выявлению нарушителей, так же можно пользоваться в виде анализатора, а далее как правило приходится или связываться с ISP или самому лезть на маршрутизаторы (если конечно имеется возможность).

Т.С: У Вас в опросе отсутствует пункт "Железные решения от DDoS", я бы выбрал его, бесспорно!

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
madoff
На сайте с 01.12.2009
Offline
235
#14

Транспарант типа MT ?, вы за какой дос го-варите? за гигабитный,? на скоко система грузится? если, допустим баним айпи, и он посылает на сервер 80 мегабит ?, помойму 0.2% ядро если и будет загрузка и то хорошо.

Я не буду оспаривать софтовые методы, и аппаратные, но соотношение нашего доса и методов по-мойму понятные, либо они нас каналом, либо мы их осилим, чаще всего они нас каналом, так как клиент ищит бюджетные варианты, и дц не хочет что бы мелкие пакеты портили ему картину )

Администратор Linux,Freebsd. (/ru/forum/494299) построения крупных проектов. ICQ#: 241606.
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#15
madoff:
Транспарант типа MT ?, вы за какой дос го-варите? за гигабитный,? на скоко система грузится? если, допустим баним айпи, и он посылает на сервер 80 мегабит ?, помойму 0.2% ядро если и будет загрузка и то хорошо.

Я не буду оспаривать софтовые методы, и аппаратные, но соотношение нашего доса и методов по-мойму понятные, либо они нас каналом, либо мы их осилим, чаще всего они нас каналом, так как клиент ищит бюджетные варианты, и дц не хочет что бы мелкие пакеты портили ему картину )

DDoS вариантов конечно много, вопросов нет и железное решение это не панацея, я только лишь сказал что из вменяемых вариантов это было бы самым приемлемым, не боле того, я не пропагандирую ничего и не предлагаю...

Касательно 0.2% это по моему горячевато, но можно проверить, так же берем во внимание, что 80Mb/s это почти 90% всего возможного канала при 100Mb/s подключении (минус технические), а так же возьмем во внимание , что ДДоС-а в 10Mbit/s вполне будет достаточно что бы ваш сервер "перестал отвечать на запросы" если опять же провайдер зажал вас в 10Mb/s, железные решения должны быть на стороне провайдера, а у клиентов должны быть ключи для работы со своим каналом(окружением) у провайдера (некий аналог "BGP community" только по отношению к листам доступа), фактически access_list где перманентно дестенейшон указан на ваш ИП, и вы манипулируете только входом к себе на сервер, конечно до таких реализаций многие провайдеры не доходят просто потому, что. :(

N
На сайте с 06.05.2007
Offline
419
#16

Romka_Kharkov, и какой провайдер готов так делать сейчас? мне кажется канальные операторы не заточены фильтровать трафик по IP вообще.

вот тут иногда коммерческие операторы защиты от ддос используют термин "отфильтроваться от спамерской сети". Это вообще как ? нужно ли при этом организовывать туннели до множества крупных операторов по всему миру ? не выглядит ли это как простое отключение анонса напрямую по туннелю своей сети крупному оператору?

Кнопка вызова админа ()
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#17
netwind:
Romka_Kharkov, и какой провайдер готов так делать сейчас? мне кажется канальные операторы не заточены фильтровать трафик по IP вообще.
вот тут иногда коммерческие операторы защиты от ддос используют термин "отфильтроваться от спамерской сети". Это вообще как ? нужно ли при этом организовывать туннели до множества крупных операторов по всему миру ? не выглядит ли это как простое отключение анонса напрямую по туннелю своей сети крупному оператору?

Готов сделать - я думаю любой, у каждого можно найти тачку с двумя сетевками, поставить ее в разрез аплинка скажем на 1 шкафчик, и передать пользователям логин и пароль для некого веб интерфейса который будет путем того же ipfw закрывать это все дело но гораздо раньше нежели на собственном интерфейсе. А вот кто из провайдеров хочет это делать.....

Про анонсы не совсем понял (говорим про BGP?), терминологии "отфильтроваться от спамерской сети", так же не встречал, но судя из слов "фильтр" и "спамеры" походит на некий алгоритм отсечения части спама, либо вообще принцип - "а зачем нам почта давайте все на google кинем".

:) ? я тут на форуме давиче читал такое ;)

M
На сайте с 16.09.2009
Offline
278
#18
Romka_Kharkov:
А вот кто из провайдеров хочет это делать.....

Да хоть _кто_нибудь_ - подобное _делает_? В реальности, данной нам в ощущениях...

Romka_Kharkov:
но судя из слов "фильтр" и "спамеры" походит на некий алгоритм отсечения части спама, либо вообще принцип - "а зачем нам почта давайте все на google кинем".
:) ? я тут на форуме давиче читал такое ;)

Offtopic, но мысль достаточно полезная - идея держать на сервере с вебпроектами

полноценную почту (IMAP/POP/вирусодавилка/спамодавилка) - более чем дурацкая.

Так что воспользоваться для этого тем же гуглом, специализированным хостингом или

просто виртуальным хостингом - вполне разумно.

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#19
myhand:
Да хоть _кто_нибудь_ - подобное _делает_? В реальности, данной нам в ощущениях...



Offtopic, но мысль достаточно полезная - идея держать на сервере с вебпроектами
полноценную почту (IMAP/POP/вирусодавилка/спамодавилка) - более чем дурацкая.
Так что воспользоваться для этого тем же гуглом, специализированным хостингом или
просто виртуальным хостингом - вполне разумно.

Я высказал это предположение, только исходя из контекста, конечно же есть хорошим тоном держать почту отдельно, базу отдельно, веб отдельно... тут вопросов нет.

Romka_Kharkov добавил 08.02.2010 в 02:56

myhand:
Да хоть _кто_нибудь_ - подобное _делает_? В реальности, данной нам в ощущениях...

Честно говоря не знаю, делают ли, но я в стадии запуска такой штуки. Пока рассматриваю простой роутер с возможностью фильтрации, но в целом уже есть готовые Shaper решения, которые могут ОДНОЗНАЧНО быть использованы в описанных выше целях и мало того ранее использовались!

Romka_Kharkov добавил 08.02.2010 в 02:58

Что мешает сделать следующую схему:

Upstream -> Core router (shaper server -> Layer2 Switch -> Rest Hosting / Mail / Database Servers...

Кто мешает на "Core router" путем того же ipfw почикать входящий на любой из серверов за "switch", да ничего, интерфейс на перле в 2 функции и готово решение, оно конечно на коммерческое не тянет в таком виде ;)))) но оно есть и может работать. Обновлять свои списки с провайдером не получится, но обезопасить свой хостинг сервер от атаки можно, а следом уже не спеша писать провайдеру про DDoS и просить принять меры, кстати на участке "Core Router" так же можно осуществлять анализ трафика своего предприятия в целом....

N
На сайте с 06.05.2007
Offline
419
#20

Да, мы говорим о BGP. Я неправильно вспомнил, вот тут "заблекхолились" :

/ru/forum/comment/5482866

/ru/forum/comment/5243094

(с цисководами вообще нереально общаться без их сленга. удивительно просто. никто больше в ИТ таким не страдает)

На моем уровне понимания BGP, не так то просто заставить трафик попасть в "черную дыру" (очевидно интерфейс null) основываясь на адресе источника, а не назначения. Роутеры, вовлеченные в общий BGP, сами выбирают куда отправлять. Ни о каких ручных правилах речи нет.

Что там на самом деле? хочется наконец увидеть полную картину.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий