Анализатор логов вебсервера для поиска ддос

Если есть мощные атаки, которые своими силами не отбить, это не значит, что не нужно блокировать те атаки, которе можно заблокировать самостоятельно.

Есть конечно мощные атаки.

Но.

1. Они бывают не часто.

2. Они стоят дорого заказчику и исполнителю, поэтому долго длится не будут.

3. Начинающим хакерам они не доступны.

На счет пунктов 1,2 и 3 - ошибаетесь...

да, что-то можно заблокировать... но не все так хорошо, как кажется

1. все зависит от ресурса (в соседних топиках про платники такое упоминается часто)

2. раз такое бывает, значит вопрос за стоимостью не стоит и длиться может от пары часов до нескольких суток

3. ну эт Вы зря так, как раз таки все доступно, при достаточном желании

честно говоря, я не представляю, каким образом можно парсить логи при хорошем DDoS'e... парсер просто сам убьет сервер... :)

какой-то в корне не правильный подход... если анализ какой-то делать, то на уровне анализа пакетов файрволла и сетевого интерфейса

если Вы верно понимаете разницу между DoS и DDoS, то бессмысленно на эту тему тут рассуждать, пока что эффективных средств от таких действий нет... проще говоря, это будет тогда воздух

Мой сервер ддосили почти месяц ежедневно, пока на нем не было защиты.

Начался ддос в ноябре 2009.

Сайты на сервере месяц не работали.

После того как установил антиддос защиту, все атаки удалось отбить.

Хакер несколько раз менял тактику атак. Это приводило к разработке мной новых защитных механизмов.

Все типы атак, идущих на мой сервер, были заблокированы.

Атакующий ботнет был от 100 до 1000 IP в сутки.

Атаки и сейчас раз в 2 недели бывают, но хакер их быстро выключает, видя. что они никак не влияют на работу сайта.

Я ставил свою защиту нескольким людям с этого форума.

В каждом случае атаку удалось заблокировать.

В одном случае атака была из 5000 IP в течении 4 дней. (при этой атаке одновременно атаковали около 500 ботов, 5000 – количество IP забаненных за 4 дня)

Так что мой опыт говорит, что ддос вполне можно победить, если иметь для этого знания.

Конечно, если сервер завалили и вы ничего не можете сделать, то тогда и кажется, что ддос непобедим. Но это не так.

Я бы хотел совершенствовать свой антиддос софт и тестировать его на разных атаках.

Поэтому.

Всем кто подвергается ддос атакам, предлагаю бесплатную установку антиддос защиты.

Моя аська 1шecть9938679

Парсер сервер не убивает

10 000 строк из лог файла nginx проверяются анализатором за 1-2 секунды.

Это в режиме максимального анализа.

Можно запускать облегченный анализ, времени на него нужно еще меньше.

На уровне фаервола хорошо отбивать SYN FLOOD атаки.

Что бы отбивать HTTP флуд атаки на уровне фаервола и анализируя отдельные TCP пакеры, придется писать софт по уровню сложности как вебсервер.

Но зачем писать второй вебсервер, если можно использовать для этого NGINX ?

ну хз... я использую два модуля апача, упомянутые выше... вполне работают корректно

для средних атак и инъекций и прочих школьных игр могут помочь и модули и возможно скрипты...

но мой случай атаки просто положил канал, тут хоть гаси сервисы все на сервере, толку никакого... на апстриме пришлось порезать многое, но потери оставались...

мой случай связан был немного с политикой, поэтому и заказ ДДоСа был серьезный :)

вообще snort очень хорошая штука, там давно все реализовано

Ну кстати, вот тут хаяли ваше странное решение, однако некоторые фирмы используют голую Резину ( Resin ), так им такой прокси был бы полезен.

Или, допустим, flash media server для пущего пробивания файерволов ставят на 80 порт и настраивают в нем прокси для апача с сайтом - тоже анализатор логов был бы кстати.

Цель благая, но опыта нету.

Только ради этого писать чудо на C в 2k строк? Толковый администратор

справится, организовав защиту от чего-то подобного за полчаса-час _с нуля_.

А как растут требования к памяти?

У меня было желание попрактиковаться в языке С.

Поэтому и начал писать анализатор на нем.

Получил удовольствие от программирования.

Все алгоритмы, которые я хотел, я реализовал.

Свой сервер я этими алгоритмами защищаю.

Памяти для запуска требуется около 50 мегабайт.

Для современного сервера 50 Мб – не проблема.

Память нужна, для того что бы перед запускам анализатора построить множество индексных таблиц.

Дальнейший анализ обращается в основном уже к индексным таблицам. А не к лог файлу.

Это нужно для ускорения работы алгоритмов.

Меня беспокоит такой вопрос.

Все мои алгоритмы ловят ботов основываясь на том, что их работа отличается от работы пользователя. По одному из следующих критериев.

1) слишком часто кликают.

2) Работают без пауз.

3) Обращается к одним и тем же URL

4) Не обращаются к статическим файлам

5) Имеют один и тот же юзерагент.

6) Не возвращают куки.

7) Не выполняют жаваскрипт

8) Обращаются к несуществующим файлам или передают не верные параметры после знака ? в URL.

Пока ботов удается без проблем выловить, используя вышеуказанные их отличия от человека.

Но что делать когда появятся боты, не имеющие этих отличий от человека?

Пока кроме как вводить защиту капчей (требовать от всех регистрации и ввода числа с картинки) мне на ум ничего надежного не приходит.

Странно, что интеллектуальные боты пока не распространены.

Ведь написать интеллектуального бота проще, чем написать интеллектуальную защиту его обнаруживающую.

тогда такой "интеллектуальный бот" будет слишком медленный, чтобы помешать нормальной работе хорошего сервера. так что они обязательно будут максимально тупыми и быстрыми.

дак видно. практичный администратор не пишет на С, если он не стеснен в выборе языка какими-то причинами.

Эффективное решение по защите, DDos,flood syn flood обращайтесь =)