Анализатор логов вебсервера для поиска ддос

Таким алгоритмом вы забаните лишь IP, которые больше всего кликали.

От простых атак школьников это защитит.

Если же ддос ботов будет много и каждый будет обращаться не часто и не превышать лимитов nginxa, то таким алгоритмом ботов будет не найти.

Например.

Атака из 2000 ботов. Каждый бот делает 10 запросов в минуту к разным PHP файлам.

Каждые 10 минут ботнет меняет IP.

Такую атаку вы простым банном самых активных IP адресов не забаните.

Нужны более продвинутые алгоритмы.

Наверное хакер сделал атаку такую как я описал выше и ваш алгоритм уже не мог найти IP ботов.

Посмотрел.

Там всего лишь описана блокировка тех кто превысил лимты nginx.

Хочется находить тех кто не превышает лимиты .

Не сталкивался, но я бы поступил так:

-запретить доступ из левых сетей(африканских,китайских,etc)

-разрешить доступ ботам ПС

-Разрешить доступ постоянным посетителям(из старых access логов,из базы цмски(если есть возможность)

-на индексной странице сделал бы скрипт "проверки человечности",для ip не входящих в вышеуказанные категории,обычная каптча. Если происходит больше N запросов к индексному файлу,но каптча не пройдена айпишник идет в iptables.

ТС, а Вы сталкивались с такими интеллектуальными ботнетами?

Нет, у хостера начала лагать сетка и он закрыл ip у канального провайдера. Если бы он этого не сделал- клиент попал бы на деньги из-за превышения соотношеня ,как минимум.

PS Атака прекратилась через сутки,видимо у заказчиков кончились деньги)

Драсти,

Не забываем так же что Firewall это не панацея :) Трафик продолжает приходить и обрабатываться ядром, он конечно реджектится или денайдится, но обрабатывается! Из вменяемых вариантов видел только промежуточные устройства (transparent) которые занимаются отслеживанием и блокировкой трафика согласно установленным правилам. Софтовое решение может иметь смысл только в том случае, если ваш софт, к примеру подаст SNMP запрос на маршрутизатор вашего ISP (или ваш маршрутизатор) тем самым зароутив IP злоумышленника в Null0 (тем самым сняв нагрузку с вашего CPU от обработки пакетов которые продолжают приходить не смотря на iptables или недай бог .htaccess :)))))) ).

Программные продукты ("от DDoS") призваны только к мониторингу и выявлению нарушителей, так же можно пользоваться в виде анализатора, а далее как правило приходится или связываться с ISP или самому лезть на маршрутизаторы (если конечно имеется возможность).

Т.С: У Вас в опросе отсутствует пункт "Железные решения от DDoS", я бы выбрал его, бесспорно!

Транспарант типа MT ?, вы за какой дос го-варите? за гигабитный,? на скоко система грузится? если, допустим баним айпи, и он посылает на сервер 80 мегабит ?, помойму 0.2% ядро если и будет загрузка и то хорошо.

Я не буду оспаривать софтовые методы, и аппаратные, но соотношение нашего доса и методов по-мойму понятные, либо они нас каналом, либо мы их осилим, чаще всего они нас каналом, так как клиент ищит бюджетные варианты, и дц не хочет что бы мелкие пакеты портили ему картину )

DDoS вариантов конечно много, вопросов нет и железное решение это не панацея, я только лишь сказал что из вменяемых вариантов это было бы самым приемлемым, не боле того, я не пропагандирую ничего и не предлагаю...

Касательно 0.2% это по моему горячевато, но можно проверить, так же берем во внимание, что 80Mb/s это почти 90% всего возможного канала при 100Mb/s подключении (минус технические), а так же возьмем во внимание , что ДДоС-а в 10Mbit/s вполне будет достаточно что бы ваш сервер "перестал отвечать на запросы" если опять же провайдер зажал вас в 10Mb/s, железные решения должны быть на стороне провайдера, а у клиентов должны быть ключи для работы со своим каналом(окружением) у провайдера (некий аналог "BGP community" только по отношению к листам доступа), фактически access_list где перманентно дестенейшон указан на ваш ИП, и вы манипулируете только входом к себе на сервер, конечно до таких реализаций многие провайдеры не доходят просто потому, что. :(

Romka_Kharkov, и какой провайдер готов так делать сейчас? мне кажется канальные операторы не заточены фильтровать трафик по IP вообще.

вот тут иногда коммерческие операторы защиты от ддос используют термин "отфильтроваться от спамерской сети". Это вообще как ? нужно ли при этом организовывать туннели до множества крупных операторов по всему миру ? не выглядит ли это как простое отключение анонса напрямую по туннелю своей сети крупному оператору?

Готов сделать - я думаю любой, у каждого можно найти тачку с двумя сетевками, поставить ее в разрез аплинка скажем на 1 шкафчик, и передать пользователям логин и пароль для некого веб интерфейса который будет путем того же ipfw закрывать это все дело но гораздо раньше нежели на собственном интерфейсе. А вот кто из провайдеров хочет это делать.....

Про анонсы не совсем понял (говорим про BGP?), терминологии "отфильтроваться от спамерской сети", так же не встречал, но судя из слов "фильтр" и "спамеры" походит на некий алгоритм отсечения части спама, либо вообще принцип - "а зачем нам почта давайте все на google кинем".

:) ? я тут на форуме давиче читал такое ;)

Да хоть _кто_нибудь_ - подобное _делает_? В реальности, данной нам в ощущениях...

Offtopic, но мысль достаточно полезная - идея держать на сервере с вебпроектами

полноценную почту (IMAP/POP/вирусодавилка/спамодавилка) - более чем дурацкая.

Так что воспользоваться для этого тем же гуглом, специализированным хостингом или

просто виртуальным хостингом - вполне разумно.

Я высказал это предположение, только исходя из контекста, конечно же есть хорошим тоном держать почту отдельно, базу отдельно, веб отдельно... тут вопросов нет.

Romka_Kharkov добавил 08.02.2010 в 02:56

Честно говоря не знаю, делают ли, но я в стадии запуска такой штуки. Пока рассматриваю простой роутер с возможностью фильтрации, но в целом уже есть готовые Shaper решения, которые могут ОДНОЗНАЧНО быть использованы в описанных выше целях и мало того ранее использовались!

Romka_Kharkov добавил 08.02.2010 в 02:58

Что мешает сделать следующую схему:

Upstream -> Core router (shaper server -> Layer2 Switch -> Rest Hosting / Mail / Database Servers...

Кто мешает на "Core router" путем того же ipfw почикать входящий на любой из серверов за "switch", да ничего, интерфейс на перле в 2 функции и готово решение, оно конечно на коммерческое не тянет в таком виде ;)))) но оно есть и может работать. Обновлять свои списки с провайдером не получится, но обезопасить свой хостинг сервер от атаки можно, а следом уже не спеша писать провайдеру про DDoS и просить принять меры, кстати на участке "Core Router" так же можно осуществлять анализ трафика своего предприятия в целом....

Да, мы говорим о BGP. Я неправильно вспомнил, вот тут "заблекхолились" :

/ru/forum/comment/5482866

/ru/forum/comment/5243094

(с цисководами вообще нереально общаться без их сленга. удивительно просто. никто больше в ИТ таким не страдает)

На моем уровне понимания BGP, не так то просто заставить трафик попасть в "черную дыру" (очевидно интерфейс null) основываясь на адресе источника, а не назначения. Роутеры, вовлеченные в общий BGP, сами выбирают куда отправлять. Ни о каких ручных правилах речи нет.

Что там на самом деле? хочется наконец увидеть полную картину.