две ОС на одном сервере одновременно

Запустить винду на xen, не?

арендуйте отдельный ВПС на Маздае)

да просто жаль переплачивать, так как текущий сервер и так менее чем на половину загружен. на крайняк сделать бэкап сайтов, установить windows и потом установить заново сайты. но полагаю геммор будет.

простой (недоступность сайтов) по времени большой будет как думаете?

Простой будет определяться сложностью переноса сайтов. Объем, используемое ПО - может что-то вообще на Windows нельзя завести. Телепаты в отпуске.

Вариант Вам предложили - поднять виртуалку с виндой на своем физическом сервере. Не факт, что хватит его мощей. Весь этот геморой, конечно, нужен только если твердо уверены, что проблемное приложение в Linux не заработает. По предоставленной Вами информации - это далеко не очевидно.

сделать виртуальные машины openvz, xen, qemu и запустить.

Ну, openvz не подойдёт. А на QEMU/KVM вполне можно запутить windows.

Правда, не ясно зачем линуксовым jboss,tomcat и кросплатформенной java понадобилась windows

Эти вещи работают и в линукс.

В приложении есть фунция работы с word и excel которая работает только на виндовс. Да и разработчик советует виндовс так как более легка в управлении из-за визуального интерфейса.

Чтобы виртуализировать сервер все равно придется сносить существующую ОС (FreeBSD) и делать перенос сайтов?

"Работают только" - или просто разработчик не удосужился протестировать свое "творение" на чем-то более вменяемом?

А Вы его заставьте "за еду" (т.к. зачем ему платить - там же все "легко в управлении") администрировать это чудо.

Боюсь, это очередной быдлокодер, который крайне отдаленно представляет себе что-то отличное от windows.

qemu работает и на FreeBSD (c 7-ки точно). Ничего сносить не надо, но не уверен, что Вы будете довольны производительностью.

Советую все переставить и установить ESXi. Что винда, что та-же фря под ним отлично бегает + фактически получите IPKVM в качестве бонуса. И поверте это такой плюсище (IPKVM) особенно для винды.