Балансировка нагрузки

Если у вас такой серьезный проект, то почему бы вам не нанять опытного архитектора или хотя бы получить платную консультацию у того же Олега Бунина?

Бесплатно могу посоветовать не использовать постоянные соединения. Здесь очень много ограничений, не считая чисто физического потолка по количеству открытых одновременно портов.

Но, наверное, вы подразумеваете Keep-Alive соединения, при которых браузер по возможности держит соединение открытым. Необходима настройка серверной части - и всё.

Я сам архитектор :) И в проекте я пока один. На самом деле такие нагрузки пока могут быть только в теории, я просто сразу хочу заложить такую возможность в архитектуру. Keep-Alive <==> Persistent connection. В стандарте шттп действительно говорится что браузер не должен открывать больше двух соединений на один хост.

А почему бы не удовлетвориться традиционной архитектурой с поддержкой Keep-Alive ?

Это на порядок проще.

Вам ведь не нужен обмен данными реалтайм.

Что вы имеете в виду?

Периодически клиент дергает сервер на предмет обновлений для него.

Если делать это реже трех секунд то это будет заметно пользователю. Если чаше то гагрузка на сеть и сервер возрастает

Используйте UDP для извещения клиентов.

Вы забываете что клиент это браузер. В этом вся сложность