На апач нужно поставить модуль
rpaf
А в конфигурации nginx добавить
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
Произвожу следующие работы
1) Установка анализатора логов access.log для обнаружения http флуда
2) Установка анализатора коннектов netstat для поиска ддос ботов.
3) установка анализатора логов access.log для бана по ключевым словам ботов ищущих уязвимости. (По желанию клиента)
4) настройка лимитов в nginx для ограния количества коннектов и запросов.
5) при необходимости установка правилил iptables, ограничивающих количество коннектов с одного IP.
Цена настроки сервера 100$
Гарантий я дать не могу, так как атаки бывают мощные, могут быть и больше канала сервера.
По опыту удается успешно отбивать атаки до 1500 одновременно атакующих ботов.
Это около 80% случаев атак.
Благодаря удачным алгоритмам вероятность бана пользователей во время атаки не превышает 1-2%
Когда атаки нет ограничивающие лимиты автоматически повышаются в несколько раз и вероятность бана пользователй становится еще меньше.
Если автоматически банить продумано, то поисковые боты не будут банится.
Нужно использовать белые списки подсетей поисковиков и другие методы снижения вероятности ложных срабатываний защиты.
Есть несколько вариантов как это сделать.
1) раз в минуту анализировать поседение строки лога access.log, находить IP которые запрашивают подозрительные страницы с ключевыми словами
mysql
admin
script
select
union
passwd
../../
/etc/
И банить эти IP на некоторый промежуток времени. Разумеется на вашем сайте не должно быть страниц в названии которых присутствуют эти строки.
2) также можно автоматически банить IP клиентов с нехорошими юзерагентами.
3) Поставить программную зашиту от ддос, которая будет обнаруживать флудящие IP и автоматически их банить. Ваш бот делает по 8 запросов к страницам в секунду, так что защита от ддос его забанит.
Могу вам настроить вышекуазанные пункты.
ICQ#: 1699три8679---------- Добавлено 24.05.2012 в 10:33 ----------
Надеюсь ваш админ ограничил лишь количество запросов к PHP страницам сайта, а не все запросы? Так как на странице обычно бывает по 20-50 картинок и из за этого ограничения у картинки грузится не будут.
Мой скрипт выдает результат в виде текстового файла со списком обнаруженных вредоносных IP.
Далее этот список IP можно занести в любой фаервол или .htaccess.
Хотя не вижу перспектив банить ботов через .htaccess, так как ботам забаненным через .htaccess апач выдает страницу 403-отказано в доступе. И наверное уже при 1000 запросах в секунду сервер будет недоступен отдавая ботам ошибку 403.
Значительно больше ботов можно забанить через iptables или ipset.
Могу вам настроить анализатор логов, который эффективно обнаруживает вредоносный флуд и разные аномалии в логах.
Обнаруживаются.
1) Превышение заданных лимитов на количество кликов к одинаковым страницам
2) Превышение заданных лимитов на количество кликов к любым страницам.
3) Множественные запросы к одним и тем же страницам разными IP.
4) Слишком частое использование разными IP одних и тех же юзерагентов, реферреров
5) IP которые постоянно используют разные юзерагенты
6) IP сделавшие одновременных коннектов более заданных лимитов.
Что бы снизить вероятность бана пользователей, анализатор начинает работать только во время ддос атаки. Наличие ддос атаки определяется по суммарному количеству запросов.
Что бы не забанить поисковых ботов имеется белый список поисковиков.
Моя аська ICQ#: 1699три8679
Отзывы
/ru/forum/648730
Платформ есть много разных.
Выбор зависит от личных предпочтений и бюджета.
Я пользуюсь супермикро.
Было 3 сервера супермикро. Все работали по несколько лет без проблем.
http://www.supermicro.nl/products/system/1U/
У интел есть платформы. Также есть много дугих производителей.
Лучшие предложения удобно искать по яндекс-маркету
http://market.yandex.ru/search.xml?text=E5&cvredirect=1&hid=91019
Выбераете процессор, нажимаете "Цены", сортируете магазины по цене.
Да, в поле юзерагент и реферрер у бота может быть написано все что угодно в зависимости от того что больше нравится атакующему.
Хоть и в редких случаях, но бывает, что ддос боты пишут в этом поле названия поисковых ботов.
У некоторых пользователей не то что джаваскрипт и Flash не работают, у них даже загрузка картинок в браузере отключена.
Я пробовал идентифицировать пользователей проверкой обращаются ли они к картинкам размещенным на страницах, в результате обнаружил, что есть пользователи не скачивающие даже картинки. Хотя их процент не велик (меньше процента) и ими можно пожертвовать, если нет других способов защиты.
Я раньше пробовал распознавать ботов выставляя им cookie с помощью добавления сроки в HTTP заголовок командой nginx
add_header Set-Cookie "nameCookie=val";
У меня была статистика, что около 60% ботнетов успешно такие куки возвращали. Поэтому от такого способа я отказался.
Сейчас планирую попробовать выставлять куки с помощью JavaScript.
Посмотрю какой процент ботов понимает джавоскриптовые куки.
Но повторю, что критерий распознавания ботов с помощью проверки возвращают ли они куки имеет серьезные недостатки.
1) Боты поисковиков не понимают куки и нужно будет иметь всегда актуальный полный список подсетей поисковиков, что бы их не банить.
2) У некоторых пользователей отключен джаваскрипт, поэтому их этот метод посчитает ботоми.
3) Некоторые ддосботы смогут возвращать куки поставленные через джаваскрипт.
4) Чтобы ставить куки через джаваскрипт придется во все HTML страницы сайтов добавлять код.
Поэтому проверку возвращает ли клиент куки можно использовать лишь как дополнительный критерий в дополнение к другим более точным методам.
Таким как, сколько он сделал коннектов, кликов, к каким страницам, какие использует реферреры, юзерагенты.
