Если всё же определились с примерными рамками по трафику, то рассмотрите на базе KVM: http://just-hosting.ru/vds-kvm.html
Порт 1 Гбит шаред, трафик от 1 Тб. на мин. тарифе.
Sven765, да, а почему бы и не сделать так, коль нужен функционал нетфильтра.
KVM на ноду и virtio интерфейсы для сети и диска с aio=native в гостевую систему, если выдавать почти всю память в виртуалку, то page cache на ноде можно отключить, дабы лишнего трафика не создавать. Потери на виртуализацию при таком раскладе будут несущественны.
Нода с Linux и роутингом на виртуалку с виндой, и вся гибкость netfilter в ваших руках.
Дистрибутив точно не смените, во-первых много мусора от старого останется, если просто поверх распаковывать новый, во-вторых скрипты конфигурации сети специфичны для дистрибутива, нужно как минимум менять конфиг на ноде.
В принципе, если остановить всё имеющее буферы/открытые дескрипторы, и оставить только init и sshd с шеллом, корень без /proc и /sys можно запаковать и изнутри контейнера.
Но кошернее, конечно, паковать уже размонтированный.
page cache столько не хранится.
mirrustam, tmpdir с кэшем никак не связана, он хранится в анонимном сегменте памяти процесса mysql.
На сколько помню, mysql хранит только хэш кэшированных запросов, получается что никак их не посмотреть.
/proc/user_beancounters смотрите, вероятно какого-то другого лимита не хватает.