Какой нужен сервер, чтобы поддерживать нормальную работу сайта с посещаемостью 1 млн / ч / день?

Минутку..  позволю себе уточнить..  Ваши крупные проекты работали на арендованных серверах? Не ставили свои на "коло" а именно арендовали сервера в ДЦ ? )))

Зачем CDN  56 ядерный (112 поточный)  с 512 рам? Если там важно количество серверов распределенных по гео?

Онлайн кинотеатры хостятся на одной машине? Или зачем всем серверам онлайн кинотеатра  100 Gbit анлим на раздачу?

Что такое третье я вообще в душе не чаю, ну и опять же ваш сервер за $5999 не нужен ни цветочному магазину не международной компании, я вообще не представляю кому нужен именно в такой конфигурации сервер. Если полоса пропускания, то там балансир, ему нафиг не нужно 96Тб NVME, за ним может стоять уже хоть сотня серверов приложения подключенной внутренней не тарифицируемой сетью по сути. Короче я хз в какую архитектуру можно воткнуть такой сервер, лучше будет несколько более маленьких чем один "здоровый и толстый".

Да а в чем проблема? Надо обязательно ставить на коло что ли? Вообще я могу сказать что много крупных проектов, не профильных в ай ти имеют много аутсорса, железо как бы в том числе. У компании собственный офис отдельный на несколько этажей в Москве, в нем свои сервера внутренние с всякими ерп и 1с, по всей России склады и точки продаж, но вот вэб направление по большей части на аутсорсе и это нормально прийти в какой нибудь крок за обслуживанием инфраструктуры для онлайн ритейла. Даже больше скажу наши админы + техподдержка обслуживала внутренние сервисы, сервера и ПО, а вот онлайн ритейл так же был на аутсорсе.

Вы обвиняете, зачем мне показывать факты что это не так? А я думал куда то в вашу сторону отошел какашка-айхор или вы там просто засветились?

Для транскодирования. Есть же еще и потоковое вещание телеканалов. Крупные студии/проекты  имеют таких серверов сотни  , разумеется распределенные по гео. (но и в одной точке их может стоять множество)

Всем серверам разумеется не нужен, только  нодам с контентом

Ну спросите их , если интересно  , насколько популярные такие конфигурации

https://www.fdcservers.net/dual-epyc-96tb

Подумайте о аудитории типа coub.com,  tiktok.com,   rutube.ru, ivi.ru , okko.tv, megogo.net   и  подобные сервисы.  Для них   сервер с 100Gbit это мелочь и семечки.

Вы мыслите не теми объёмами, для ряда специфических задач 100Gbit/s  это не "здоровый и толстый" это как раз    обычный такой стандартный сервак.

а ну я так и понял что вы свой сервер подогнали под узкую задачу, где аж на всю Москву всего 300 серверов =)))

Облако это масс маркет, для 90% проектов более чем подходит и достаточно, а если у тебя что то специфическое, с определенными требованиями то там и решения уникальные/эксклюзивные. Взять то же яндекс облако, не имея штатов своих админов, вполне можно поднять кластер БД из панельки, развернуть ноду с эластиком, все это подружить и залить туда какой нибудь битрикс который будет генерировать пару лямов выручки вот вам "типичный цветочный магазинчик". Собрать тоже самое на железе еще и на коло будет как бы адом для владельца, особенно если нет знакомых проверенных спецов. 1 млн пользователей в день это уже нормальная такая вменяемая нагрузка, которая будет скакать в зависимости от событий в стране, мире и так далее, облако здесь действительно подойдёт, тем более облако уровня AWS, где можно отдельные сервисы по отдельности запускать и масштабировать. А вот ваш сервер ТСу как собаке пятая нога. Да и в целом вообще не вижу смысла в дедиках, они нужны бомжопроектам в основном если говорим о цене (выжать максимум производительсности за минимум средст, тут мы не говорим об резервировании, отказоустойчивости и так далее, ну в общем уровень хецзнер), либо тем у кого есть штат людей которые знаю что с ними делать (которые соберут оборудование, накатят туда облачное ПО и будут это мониторить, сопровождать и так далее), но тех и других в лучшем случае процентов 20%, остальным надо как бы деньги зарабатывать, реализовывать свои идеи, облако в данном случае намного гибче и удобнее, а если ты еще и ПО своё делаешь на уровне сервисов то вообще одни плюсы.

Хотя с одной стороны я конечно вас понимаю, для вас это профильно вам кажется это логично взять и самому все сделать как надо и дешевле, но вы же курицу наверняка в магазине покупаете а не выращиваете, а ведь кому то проще вырастить, это и вкуснее и там ничем не накачано а значит полезнее чем магазинное, так и тут, для небольшой команды с проектом который тем более растет облака это спасение, не зря это нашло большую популярность.

В каком месте? Новости внимательно почитайте.