Падает сервер из-за размножающихся httpd

купить нормальный сервер который будет держать нагрузку.

сканеры обычно не создают какую то заметную нагрузку, скорее всего у вас проблемы с производительностью.

Den73, сервер как раз нормальный. Дело не в нагрузке от запросов, сервер ее выдерживает легко.

Это какой-то непонятный глюк апача - при большом количестве отданных 404 ошибок, неактивные процессы httpd начинают накапливаться в памяти, заполняют всю память (16 Gb) и переходят в своп. Их количество резко поднимается за 500, хотя в обычное время их не более 15-20.

Возможно, кто-то сталкивался с такой проблемой?

снизить pm.max_children и KeepAliveTimeout, должно полегчать.

foxi, pm.max_children - это ведь опция для PHP-FPM, а не для Apache

KeepAliveTimeout отключен в конфигурации Apache

Оттюньте nginx. Заведите зоны:

nginx.conf

#зона “one” размером 10 мегабайт, со средней скоростью запросов 300 в секунду
limit_req_zone $binary_remote_addr zone=one:10m  rate=300r/s;
#зона “two” размером 10 мегабайт, со средней скоростью запросов 2 в секунду
limit_req_zone $binary_remote_addr zone=two:10m  rate=2r/s;
#Зона three, количество соединений с одного IP-адреса
limit_conn_zone $binary_remote_addr zone=three:10m;

vhosts.conf (или где у вас виртуальные хосты)

В корневом локейшне

limit_req  zone=two burst=15 nodelay;
limit_conn three 8;

В локейшне на статику

limit_req  zone=one burst=200 nodelay;

Вдобавок, теперь вы можете парсить лог, вылавливать блокированных и впендюривать их в таблицу фаервола.

Если у сканера есть специфический юзерагент, можете перенаправить его ему же в задницу:

    if ( $http_user_agent ~* (OpenLinkProfiler.org|BLEXBot|WebIndex) ){
        rewrite ^(.*)$ http://localhost/ permanent;
    }

DenisVS, спасибо, блокировать по IP тоже вариант, но непонятная проблема с апачем останется, хотелось бы ее решить.

Проблема звучит так:

В момент сканирования, когда апач выдает много 404 ответов, начинают плодиться неактивные процессы httpd, их количество доходит до 500+, забивает всю память (16 Gb) и уходит в своп. Вопрос в том, почему эти процессы не завершаются?

httpd(2).conf нужно.

так разве не он отвечает за то, чтоб не плодились неактивные процессы?

Конфигурация:

Timeout 30

KeepAlive Off

MaxKeepAliveRequests 100

KeepAliveTimeout 15

<IfModule prefork.c>

StartServers 10

MinSpareServers 10

MaxSpareServers 40

ServerLimit 100

MaxClients 100

MaxRequestsPerChild 1000

</IfModule>

---------- Добавлено 16.04.2016 в 12:54 ----------

foxi, я имел в виду, что KeepAlive в апаче отключен, т.к. сверху стоит nginx

---------- Добавлено 16.04.2016 в 12:56 ----------

Несмотря на то, что стоят лимиты ServerLimit 100 и MaxClients 100, неактивные процессы httpd доходят количества 500 штук.

а чем они занимаются эти процессы? скапливаться могут по множеству причин, например: тормоза диска, скрипт который отдает 404 чем то долго занимается т.д и т.п

блокировать по ip бессмысленно.