Как вычислить чем забивается память на сервере?

Запустите топ и отсортируйте по использованию памяти:

sudo top ->далее нажмите на клавиатуре "shift + m"

Либо так:

sudo ps aux --sort -rss

Что бы понять какие процессы откуда взялись, можно построить "дерево":

sudo ps -Hwfe

А что там насчет cached?

при правильной настройке сервера при всех запущенных процессах и максимальном количестве дочерних, сервер и должен использовать 90-95% памяти, но это только при максимуме.

в htop смотрите сколько реально используется, остальное скорее всего на самом деле в кеше.

http://www.linuxatemyram.com/