отфильтровать udp

netstat - не эффективно действительно.

Даже на уровне nginx можно элементы страницы (статику) вообще не учитывать в фильтрах/лимитах. Да и логи проксированных запросов зарулить в отдельный лог.

Даже на уровне фаервола можно смотреть глубже, чем на количество коннектов с Ip-адреса. (можно сами пакеты анализировать).

Himiko, Вот-вот, я о том же. А csf, который стоит у большинства - дергает netstat. А lfd, опять же, которым режут нагрузку частенько - сам создает такую нагрузку, что ух ))).

Те кто серьезно занимаются ддос защитой, заносят подсети поисковиков в белые списки, и не банят их ботов.

Отследить подсети поисковиков задача вполне решаемая.

zexis добавил 27.04.2011 в 09:28

Эта проблема решается если вести отдельные логии для локейшена со статикой и динамикой в nginx.

В 99% атак атакуются только динамические страницы.

Так что парсить можно только логии запросов к динамическим страницам.

В этом случае решается проблема ложных срабатываний, когда на одной странице сайта расположено 200 статических файлов.

Да и кто думает головой в первую очередь, а уж потом что-то автоматизирует :)

Я лично автоматике доверяю самый минимум.

Ну все верно, согласен.

Да почему... Могут и статику заддосить, там разница обычно небольшая. Для динамики достаточно 10-50 ботов. для статики - 300-400 в общем случае. Ну это если защиты никакой нет...

Да ну =) Сколько ботов - не так важно. Но nginx статику сможет с быстрых дисков отдавать практически не создавая нагрузки в больших количествах.

Автоматическая защита должна работать постоянно.

Ведь админы не могут быть наготове 24 часа в сутки, 7 дней в неделю и ждать атаку, что бы включить вручную защиту.

Если автоматической защиты нет, то сайт будет несколько часов не доступен, после начала атаки, пока админы не проанализируют атаку и не включат нужные фильтры. Для серьезного сайта даже 10 минут простоя – недопустимо.

Автоматическую защиту можно настроить так, что бы она начинала банить, только при превышении суммарного количеств коннектов или запросов некоторого порога. Что бы исключить ложные срабатывания, когда нет атаки.

Сейчас у меня хорошо отлажена автоматическая защита от HTTP флуда, которая имеет минимальные ложные срабатывания.

Минус моей защиты сейчас в том, что нужно предварительно настаивать в nginx для каждого локейшена свой лог файл и в настройках защиты прописывать его парсинг с заданными параметрами.

Поэтому, если сайтов на сервере много, то прописать парсинг логов каждого сайта – будет довольно трудоемко.

Я думал над тем, что бы автоматизировать парсинг логов, для случая, когда на сервере множество небольших сайтов. Думаю, это вполне решаемо. Но уйдет на создание такой системы у меня около месяца и в последующем нужно будет постоянно контролировать работу этой автоматизированной системы. А так как услуг виртуального хостинга я не оказываю, то мне такая система пока не нужна.

zexis, У нас так же сделано, но у нас апач. И тоже постоянно не включено именно по этой причине - парсинг логов полутора тысяч виртуалхостов - дело неблагодарное.

От любой атаки автоматическая защита не спасёт и даунтайм может быть.

Автоматика нужна, но в разумных пределах и только автоматикой все вопросы не решить.

Про какие несколько часов речь? :) Мы решаем вопросы в разы оперативнее. И админы на готове 24 сутки и действительно 7 дней в неделю и даже 365 дней в году.

При этом есть различные средства мониторинга, которые позволят ещё до наступления "лимита" уведомить админов о возможных проблемах.

Himiko добавил 27.04.2011 в 10:05

niginx'у можно сделать отдельный общий лог в нужном вам формате. Его можно парсить и очищать периодически. Тогда не потребуется парсить многогигабайтные логи.

Сейчас в 95% случаев http-флуда атакуются только динамические страницы.

Хотя статику, конечно, тоже могут атаковать.

Логии доступа к статике тоже нужно автоматически анализировать, но с более высокими лимитами. Для некоторых сайтов, возможно, потребуется корректировка лимитов под каждый тип файлов, что бы снизить количество ложных срабатываний.

Защищенный от ддос сервер не должен отдавать статику ботам, так как это может привести к существенному повышению исходящего трафика и переполнению канала.