Нужен коллективный разум - высокая нагрузка

Какие проблемы с системой помимо того, что высокий load average? Время ответа веб сервера возросло? Ваш load average высокий из-за того, что много процессов одновременно находятся в состоянии "R" (running, т.е. выполняются). Вывод vmstat можете пожалуйста показать?

Так же хочу заметить что у вас 32Gb выделено под файл подкачки. Зачем? Что будет, если ваш файл подкачки заполнится хотя бы на 25% ? Представляете как все будет "тормозить", когда система начнет ворочать гигабайты данных, перемещая данные из оперативной памяти в подкачку? Либо выключите своп вообще (зачем он нужен?), либо уменьшите его до 1Gb.

vmstat

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----

r b swpd free buff cache si so bi bo in cs us sy id wa

93 0 2932 1491304 470856 19699476 0 0 4 40 17 12 9 2 89 0

---------- Добавлено 12.06.2015 в 09:45 ----------

Да, сайты тупят не по детски

Посмотрите насколько эффективно используется кеш. Добавьте в конфиг nginx в опцию формата логов(log_format) параметр $upstream_cache_status

Подозреваю, что будут сплошные MISS-ки.

По количеству работающих процессов - непохоже (DDOS, парсинг?). Что в логах апача access.log?

На дисках случайно не soft raid? Он синхронизирован? (cat /proc/mdstat)

Да не - такая нагрузка стала сразу как только я перенес сайт в 2 часа ночи. В логах все чисто, ни ддоса ни парсинга нет

В каком режиме работает апач? Префорк или воркер? Можете показать вывод apache2 -l ?

Комментарии по поводу вывода vmstat:

1) Со свопом проблем нет вообще. Хотя он и большой, он не используется.

2) Количество обращений к диску ничтожно, так что с дисковой подсистемой ввода-вывода все ок. Кроме этого, процессы ничего "не ждут" (согласно top нет процессов в состоянии "D" или каком либо другом - все в "R")

3) Однако видим 93 активных процесса, ожидающих своей очереди на выполнение. Это многовато. Можем попробовать подредактировать конфиг апача (но для этого см. вопрос выше - префорк или воркер)

У вас mysql загружен...

Посмотрите/покажите вывод mysqltuner.pl

Включите лог медленных запросов и посмотрите, что за запросы. Иногда в этом логе такой хардкор попадается. Может какой-нибудь кривой плагин или отсутствие индексов.

Веб сервер не ожидает ответа от MySQL. Обратите внимание на вывод top.

Обращаю ваше внимание что переезжаю на равносильный по мощности сервер.

И там и там был включен лог, сайты те же. На старом в логе медленных запросов были единичные запросы за сутки.

На новом сервере их сотни (обычные запросы) и все сайты тупят

---------- Добавлено 12.06.2015 в 10:13 ----------

apache2 -l

Compiled in modules:

core.c

mod_log_config.c

mod_logio.c

mod_version.c

prefork.c

http_core.c

mod_so.c

Давайте проведем "дешевый тест". Можете взять firefox + firebug либо через Chrome (меню -> Developers Tools), открыть один из ваших сайтов и посмотреть что же именно загружается дольше всего? Может быть это какой то статический контент либо что то другое. Так хотя бы немного станет понятнее в чем же проблема. Если выложите скриншот Developers Tools либо Firebug, это так же немного поможет в исследовании.

---------- Добавлено 12.06.2015 в 10:15 ----------

Ага, значит префорк.

К старому серверу еще есть доступ? Можете дать вывод этой же команды со старой машины?