XCache и APC тормозят сайт

Для начала посмотрите в браузере что происходит. Например, firefox + firebug и станет понятно (хотя бы поверхностно) какие элементы тормозят больше всего.

Если же такого поверхностного анализа будет недостаточно, я бы рекомендовал поставить какой нибудь профайлер, например new relic или pinba и таким образом разобраться что же именно тормозит. Но профайлер требует конфигурации, так что здесь тоже некоторые усилия потребуются.

Вот вам линка как пинбу настраивать: http://habrahabr.ru/post/129042/

с настройками намудрили.

например, если дать APC 128мб памяти, то это хватит на 2-3 сайта (на wordpress, к примеру). если сайтов больше - то APC будет скидывать кэш и заново его наполнять. в итоге вы даже не почувствуете ускорения - потому что APC постоянно будет обнулять кэш из-за нехватки памяти.

это лишь один с нюансов. и если уж на то пошло - при включенном W3 Total Cache кэширование php вообще не имеет смысла. как так total будет отдавать статику.

Все настройки выставлены правильно, лимит стоит в 128 Mb

если не секрет зачем вам w3totalcache на впс?

настройки впс многое значат!!!

P.S. пользуюсь старым добрым eaccelerator - все работает отлично.

Его все рекомендуют ставить на WordPress

эти рекомендации для обычных хостингов в основном.

читайте про настройку/оптимизацию параметров апач/мускл/нгикс.

Я уже столько материалов прочитал, что голова кругом идет)

так пробуйте, то что читаете и смортите на полученный результат 🍿

только решение о плохом/хорошем результате принимайте не через 5 минут, давайте серверу поработать с новыми параметрами хотя бы день, иначе все советы будут казаться плохими 🤪

Вы считаете, что APC сначала может тормозить сайт, а через пару-тройку часов все будет отлично работать? Разве такое бывает?

Нет

Ищите по запросу кеширование wordpress через nginx