Анализатор логов вебсервера для поиска ддос

Хотелось бы узнать кто какими пользуется анализаторами логов для поиска ддос ботов.

И последующего занесения IP адресов найденных ботов в фаервол.

Хочется иметь удобный, продвинутый анализатор логов для поиска ддос.

Возможно, гуру скажут, что при мощном ддосе в логи сервера нечего записаться не успеет.

Но лично мне удавалось заблокировать несколько ддос атак, найдя IP ботов в логах и занеся их в фаервол. (атаки были с ботнета от 50 до 5000 IP)

Поэтому считаю, что поиск ботов в логах вебсервера – довольно эффективен.

Можно анализировать логи, написав скрипт на языке Shell.

Но я считаю, что сложный анализ логов на shell реализовать сложно.

Конечно, можно на шелле реализовать анализ лог файла error.log у nginx и банить тех, кого не пропустил nginx из за превышения лимитов.

Это тоже не плохой вариант.

У меня написан анализатор логов на языке С, который запускается по крону и анализирует логи access.log и netstat. Найденные IP адреса ботов заносятся в фаервол iptables.

Мне хотелось бы найти новые, эффективные алгоритмы для поиска ддос ботов.

Буду признателен за идеи в этом направлении.

Перечислю алгоритмы и критерии для поиска ддос ботов, которые у меня уже реализованы.

1. поиск тех, кто сделал более N любых запросов за любой интервал времени T лога

2. поиск тех, кто сделал более N запросов к одной и той же странице за любой интервал времени T лога

3. поиск тех, кто сделал более N ошибочных запросов за интервал времени T

4. поиск тех кто не сделал ни одной паузы в запросах продолжительностью T1 секунд за интервал времени T2 секунд.

5. Поиск тех открыл более определенного количества коннектов с заданными параметрами (список коннектов берется командой netstat)

6. Поиск группы IP адресов, которые используют один и тот же юзер агент и сделавших более определенного числа запросов.

7. В программе есть файл для белого списка IP и подсетей, в которые можно занести боты поисковых систем, что бы они не забанились по ошибке.

Программа позволяет одновременно делать несколько проверок по разным параметром.

Например.

1. найти тех кто сделал более 100 запросов к PHP файлам за любые 60 секунд лога

2. найти тех кто сделал более 150 запросов к PHP файлам за любые 120 секунд лога

3. найти тех кто сделал более 200 запросов к PHP файлам за любые 240 секунд лога

Найдены будут все кто удовлетворяет хотя бы одному условию.

Размышляю над таким алгоритмом

Проверка того, что при переходе на новую страницу, на предыдущей странице была бы на нее ссылка.

Но как это реализовать, что было просто, надежно и удобно пока не придумал.

Использовать для поиска ботов javascript не хотелось бы, так как у многих пользователей он отключен и эти пользователи лишатся доступа к сайту.

Я заинтересован в совершенствовании и тестировании своей программы.

Поэтому могу бесплатно установить свою программу всем кто столкнулся с проблемой ддос. Моя аська 169938шесть79

Подведу итог чего я хотел от этого поста.

1. узнать кто какими анализаторами логов для поиска ддос пользуется и рекомендует

2. узнать о новых алгоритмах поиска ддос и о опыте их использования

3. найти желающих для тестирования моей программы, на которых осуществляется ддос атака. Моя аська 169938шесть79