Новая информация,
после перезапуска апача через несколько секунд работы в логи ничего не пишет указанное время, Timeout 30, после видимо происходит сброс подключений и в логи начинает писать, опять же всего несколько секунд, а потом опять таймаут.
И так я попробовал Timeout 5, и действительно, апач начал обрабатывать запросы и писать в лог, но на сколько мне ихвесно 5 секунд очень маленький таймаут и многие нормальные подключения будут недорабатываться.
Так как состояние reading, а для этой дерективы и данного случая это время приёма GET запроса, я делаю вывод что nginx отправляет не полный заголовок запроса GET и апач продолжает ждать.
В чём фокус? nginx отправляет часть заголовка GET до того как он его сам полностью получит? Почему то думал что именно nginx должен защищать от подобного рода проблемы.
Ещё одна атака, теперь более ясная, но от неё ещё хуже))
Атака идёт на сайт, он известен, на сервере mpm-itk с ограничением
MaxClientsVhost 10.
При атаке запросы проксируются апачу и он после рестарта за секунду набирает 256 клиентов которые висят в системе ничего не делая под пользователем root. Система не нагружена.
В error_log:
[Wed Jun 22 14:28:17 2011] [warn] MaxClientsVhost reached for website.ru, refusing client.
[Wed Jun 22 14:28:18 2011] [error] server reached MaxClients setting, consider raising the MaxClients setting
В статусе апача который всёже загружается через пару минут:
и т.д.
В нетстате как я подозреваю проблема в SYN, потому что nginx делает запрос апачу и много таких подключений:
netstat -na|grep SYN_SENT|wc -l
4453
netstat -na|grep ESTAB|wc -l
16178
cat /proc/sys/net/ipv4/tcp_syncookies
1
syncookies включены
В конфиге апача
Почему апач не блокирует новые подключения к сайту сразу, чего он ждёт, почему процессы висят, что за статус такой ..reading..
Кто-нибудь в курсе подобной проблемы?
Чесно сказать не понимаю почему так, среди большого числа LAST_ACK, припоминаю, были также и ESTABLISHED около 10тыс.
Лог включен для всех вирт. хостов, есть один общий лог, лог отключается только когда идёт проксирование к апачу, и тогда в этот общий лог пишет сам апач.
Апач вообще не ощущал запросов, т.е. они до него и не доходили. Ситуация непонятная. Хотя в лог ведь пишется после завершения соединения, а они в состоянии LAST_ASK. Может поэтому?
netwind, вот я вижу вы уже начали понимать на счёт лога, атака не на HTTP, а на TCP стек. При SYN флуде такой же эффект, в логах ничего не будет, так как tcp не прошёл все стадии завершения подключения, и тем не менее для nginx это ещё подключение. Всего то 2к ботов было, когда отфильтровал всех кто занял более 100 подключений, всё заработало, а через часик начали другой тип атаки, уже по HTTP на сайт клиента, ну ничего, сайт его всё равно открывался, хоть и через раз, а на сервер это не повлияло, там уже срабатывал другой тип защиты по анализу логов.
PS. хотя может я что-то путаю, ведь LAST_ACK это завершение подключения, после ESTABLISHED.
Но факт что в логах нет ничего и 80й порт в большой очереди.
Я не говорил что это синфлуд, я сказал что эффект похожий, подключения в ожидании.
Дело то в том что запросы не доходят до апача, они через nginx то не проходят вообще, в access_log ничего не пишется, в error_log только о превышении worker connection писалось, после увеличения вообще ничего не писалось.
LAST_ACK состояние - это не обычный дос, при обычном другие симтомы, не первый раз воюю ;)
На счёт ограничения на 100, это помогло, сайты заработали, но для нормальной работы сервера этого мало, очень частые блоки обычных клиентов, которые например закачивают файлы по FTP, либо импортируют базу через какой то скрипт.
200 хватало, но тут уже атакуюшие плохо отбиваются.
В сумме 50-60тыс подключений, просто в состоянии LAST_ACK 24тысчи.
И он совсем не падает, 80й порт в очереди видимо. По логам nginx писал что ему мало подключений, было worker_connections 4000, сделал 10000, ошибка пропала, а сайты так и не открывались, или открывались через минуту.
Пришлось блокать IP адреса которые занимали более 100 состояний подключений.
Но такое решение не очень нравится.
Никогда не видел таких тарифов, помоему самое время закрываться.
Какой выбрали если не секрет, и по какой цене? Сайты на DLE?
Сейчас очень распространённые атаки по UDP на +100мбит, пинга почти нет.
Я даже знаю где продают VPS за 20$ с исходящим трафиком по 500мбит и не блокируют их за подобные атаки...
жить становится сложнее (
это точно, есть хостинги мажоры, такие как мастерхост, куча клиентов по мега тарифам, но если у вас возникнет проблема с нагрузкой, поисковые боты зайдут лишний раз или вас начнут досить, то будете с неделю смотреть на страницу ваш сайт заблокирован, причём виноваты конечно же вы в этом, хотя от вас это не зависит... 🙅
