Чем мониторить трафик?

А какова цель всего этого безобразия?

Это же не виртуальный хостинг, нет?

Задача несколько более глобальна чем просто промониторить трафик на одном сервере, нужен инструмент который смотрит за всеми серверами а действия по факту аномалии применяет на основном шлюзе, к аномалиям на начальном этапе нужно отнести элементарные вещи:

-- резкое увеличение син пакетов

-- резкое увеличение udp трафика

более тонко смотрим:

-- скачки трафика на 80 порт

Задача стоит своевременно среагировать на DDos причём в автоматическом режиме.

Сейчас я могу в ручном режиме перекинуть атакуемый IP во второе включение и на тамошнем шлюзе уже извращаться над этим трафиком так как мне нужно при этом не затрагивая весь остальной траф который остался в основном включении, но хочется и нужно это дело автоматизировать, и я уверен что на вооружении многоуважаемых админов есть инструменты которые после определённой обработки молотком зубилом и какой то матерью, способны делать то что нужно мне.

babiy добавил 04.12.2011 в 14:00

Следить нужно именно за серверами хостинг компании, но не только шеред хостинга

babiy добавил 04.12.2011 в 14:12

Задача проста, защитить сервера в своих стойках.

В идеале хочется получить некий аналог Cisco Guard (сразу говорю АНАЛОГ), я конечно же понимаю что аппаратные средства есть аппаратные, но ни что не мешает во втором резервном включении куда будет отправлятся аномальный трафик настроить фильтра причём не только на базе одного сервера и можно поставить и больше серверов друг за другом и в каждом настроить свои фильтра (это как пример) я понимаю что при большой и умной атаке это не спасёт, ну по крайней мере часть атак могут пройти практически незаметно.

Babiy, задумка у вас хорошая.

Эти задачи можно успешно решать с помощью фильтрующего сервера на Linux и установленного на нем NGINX, который проксирует HTTP трафик на Бекенды.

HTTP трафик можно анализировать анализатором логов access.log.

Можно и графики строить по данным из access.log программами типа webalizer и им подобных.

Плюс на фильтрующем сервере добавить разных правил в iptables для ограничения пиков атаки.

А медленных ботов вылавливать анализом access.log за период порядка нескольких минут.

Но если есть какой то софт, в котором это все уже продумано и автоматизировано, и работал бы он в реальном времени анализируя TCP/IP трафик на лету было бы не плохо. Так как минус анализа логов ACCESS.LOG в том что он анализирует трафик уже после того как трафик прошел.

zexis добавил 04.12.2011 в 16:25

Если бы существовал какой то отлаженный и эффективный софт для этой задачи, то крупные хостеры его бы уже давно использовали.

Но крупные хостеры защиты от ддос не имеют ни на виртуальном хостинге, не на выделенных серверах клиентов.

Следовательно и софта такого отлаженного нет.

В случае атак большинство использует какие то малоэффективные поделки на серверах клиентов типа fail2ban или mod_evasive.

Те же кто предоставляют защиту от ддос, мне кажется, используют свои собственные разработки разной степени эффективности и автоматизации.

Имеют, конечно. Просто защиты бывают разные: оперативно отключить клиента, на которого идет атака, нафиг - тоже защита.

Нет никакой принципиальной разницы. Блокируете Вы _этот_ запрос или _следующий_. Так или иначе - придется все-равно учитывать некоторую историю обращений, а не принимать решение только на основе "мгновенной" картины.

"Зарубить все злодеев" с первой попытки, не пропустив ни одного паразитного запроса к сайту - не получится в любом случае.

А что мешает это автоматизировать?

Для виртуального хостинга - все просто: идентифицируем цель атаки + блокируем ее, если она начинает мешать другим. Весь инструментарий - простейшие скрипты, которые пишутся для конкретной системы управления хостингом.

Никто делиться не будет по одной простой причине - там делиться нечем. 99% кода - взаимодействие с конкретной СУХ.

Snort умеет слать команды на циско с помощью которых банится ip

Так что если у тебя свои стойки то это самое оно

А циско гвард - беспомощьное лайно

Я считаю, что отключение сайта клиента это плохая защита.

Не раз наблюдал ситуацию, когда на VPS клиента идет не большая атака со 100-300 ботов и хостер начинает городить огород с помощью защит наподобии fail2ban или mod_evasive.

Которые не могут помочь даже при атаке 100-300 ботов.

В итоге кроме как отключить клиента им не чего не остается.

Вот если бы был у хостеров какой то доступный и эффективный инструмент централизованного контроля трафика, то он бы широко использовался.

Для виртуального хостинга на 5$ ?

Это VPS, а не виртуальный хостинг. В нормальной ситуации (хостер компетентен, нет безумного оверселлинга, атака не съела канал до сервера) - никто клиентов не отключает.

Вы "наблюдали ситуацию" - работы какой-то очередной безграмотной техподдержки, вот и все.

babiy

Довайте разберёмся.

Задача несколько более глобальна чем просто промониторить трафик на одном сервере, нужен инструмент который смотрит за всеми серверами а действия по факту аномалии применяет на основном шлюзе, к аномалиям на начальном этапе нужно отнести элементарные вещи

Как вы это предоставляете,анамалию ловить, при входящем трафике на все сервера ?, не одна IDS не сможет проглотить обьёмы свыше гигабита,( с учётом того что надо супер железку ) я так понимаю обьёмы приличные траффика :).

Как помне, надо построить нечто, bridge gateway.

bgp - bridge gateway - client

На нём установить netflow - который будет передовать данные на сервер который будет счетать пакетики, и делать запросы на свичи, для блокировки порта, ну или на bgp что бы блокировать айпи клиента.

Вот такая схема.

up link ---> bgp--->bridge gateway ( freebsd )--->switch--> clients
                                    |                                     ^
               |                   |                                    |     
               ^                    |                               block client
               |                     |                                   ^
               |                     |                                    |
               |                   net flow                            |
               |                    |                                    ^
   block ip bgp                     |                                     |
               -------------< stat server >----------------               

netflow - прекрасно переварит гигабиты трафика, не тормазя сеть, при этом обработка и анализ, будет не затрагивать прошедший траффик, вопщемто будет то что надо.

tcp,udp и другие пакеты будут под контролем :)

Нарисовал красивей, да не охото, каму надо поймут.

Я с циской не работал, но думаю там есть какой то интерфейс позволяющий банить IP командами из скрипта на Bash.

Так что управлять циской можно командами не только Snorta, но и любого другого софта, который вычислит IP ботов.

Интересно узнать о вашем опыте использования циско гвард.

Что оно позволяет делать? И почему оказалось «беспомощьное лайно» ?