Перехожу с VDS на дедик, что посоветуете по установке системы?

самая правильная защита от Дос-атак это Цыска :)

и она не сравниться не с каким ПО,т.к. пакеты застряют именно на ней,а если пакет пришел на сервер,то потребуется время для того что бы фаервол его разобрал и сделал с ним какое то действие. А всем известно, что при атаке сервер и так еле дышит, вот и получиться у вас :

атака (сервер загружен),потом проверка пакета (сервер еще дольше загружен) :)

iptables работает на уровне ядра = очень и очень быстро. Даже при сильной ддос-атаке нагрузка будет незаметна.

Посоветуйте конфигурацию фаервола

Особое внимание обратить на безопасность, а то взломают и потом придется все заново делать :)

Статику отдавать через не-апач, например nginx, lighttpd и т.п.

Защиту от DOS и наглых ботов лично я пресекаю одной строчкой файра:

-A INPUT -p tcp -m tcp --dport 80 --tcp-flags SYN,RST,ACK SYN -m connlimit-above 5 --connlimit-mask 32 -j REJECT

path-o-matic и grsecurity ставить в обязательном порядке, ядро брать ванильное последнее стабильное.

На счет ddos - не поможет ни циска ни iptables. Если пойдет 10k запросов с ботнета в секунду - серверу будет бо-бо. Хотя если статика и легкий вебсервер - по идее может выжить, только память 1G не серьезно конечно.