Нужен совет. Как лучше поступить с онлайн кинотеатром

Докупая сервера ты уже делаешь этим кластер

А как это лучше сделать технически - задача сисадмина

Именно так, с помощью палки-верёвки делается. У каждого бэк-сервера создаётся интерфейс по которому отдаётся его текущая сетевая нагрузка (собираемая например при помощи nettop, iptraf, ... ). Для начала просмотра видео делается обращение к балансеру, который выполняет редирект на меньше всего нагруженный сервер.

При этом, наверное, будет лучше чтобы бэк-сервера сами с определенной периодичностью обращались к фронт-серверу и сообщали ему о своём состоянии... Если какой-то из серверов давно ничего не сообщал, значит с ним проблемы. А балансер может делать выборку уже по готовой sql таблице с текущей нагрузкой, используяю только выборку из серверов состояние которых обновлялось за последние 2 минуты.

Дальше регулируете коэффициенты "правильной" нагрузки и всё...

Таким образом на мордовом сервере у Вас работает только балансер и движок выдачи html-страниц. Масштабируемость с точки зрения отдачи видео получается практически линейная.

Также нужно можно рассчитать для каждого видео коэффициент нагрузки (в зависимости от битрейта). И для более равномерного распределения (чтобы не ждать пока обновятся данные по реальной нагрузки) использовать их как поправки, предсказывая увеличение нагрузки на сервер к которому произошел редирект.

Зачем такие сложности? Просто делаются несколько серверов, выполняющих раздачу контента параллельно. Нагрузка в простейшем случае балансируется с помощью DNS - если сервера раздающее контент одинаковы, это довольно хорошо работает. А одинаковые сервера проще обслуживать.

Могу рассказать подробнее и дать советы по архитектуре, а возможно и помочь имеющимися наработками по распределённой раздаче и конвертированию, если нужно.

Skype: boris.syomov

1) обычно узкое место на видео это диски и канал.

Самый дешевый вариант.

Масштабирования можно делать, путём наращивания серверов,последовательно.

есть сервер A,B,C

A - выполняет роль "веб морды"

B,C = видео контент.

на сервере А в админке при добавлении сериала указуем просто урл на сервер B, предостережении лимита переходим новыми сериалами на сервер C и т п.

Дорогой вариант.

Строим кластер на GlusterFS (Distributed)

Окутаем свою сеть 10(4)G завязуем контент на основной сервер с "веб мордой" строим клайстер путём наращивания серверов. :)

😂 ну блин... а потом GFS и начинаем запускать собственные спутники... ТС вроде гугл строить не собрался, ему надо нагрузку по-быстрому распределить ;)

Я предложил два варианта.

Мы можем предложить вам решение аналогичное вот этой ферме для картинок, суть заключается в следующем, вы имеете вабсайт который обслуживает только запросы клиентов и показывает странички оттуда, а с фермы раздает контент путем ссылок или уже как настроите вариаций много. Как по мне вполне адекватное решение, масштабируемость любая, проседает ферма - добавили сервер, добавили кеш сервер (если актуально), побежало, около 6 вариаций балансировки трафика на 2м-7м уровнях OSI. Имеется в наличии Hardware Load Balancer на базе Foundry.

Спасибо огромное всем кто отписал и предложил свои идеи и помощь.

С некоторыми уже связались в аське. Сейчас выбираем самый оптимальный вариант.

А сколько будет стоить подобное решение ?

Я за то, чтобы сделать максимально просто. Вариантов может быть множество.

Самое простое - несколько серверов + простейших балансировщик (roundrobin в dns или nginx)

Причем при 2х и более серверах можно обеспечить бонусом и отказоустойчивость.

Если потребуется помощь, можете написать по контактам у меня в подписи.

Смотря как его рассматривать, вы хотите купить железо? Вы хотите его арендовать ? или вы хотите что вы вам его кто-то настроил? У нас есть балансировщик, аренда порта в нем для балансировки обойдется вам где-то 50$ / месяц за единицу, дальше оплата за аренду железа и канала, в принципе все как обычно. Скажите сколько и каких серверов вам надо, а так же скажите сколько трафика у вас уходит в месяц, сделаем приблизительный расчет.