Мы занимаемся предоставлением услуг онлайн кинотеатра и столкнулись с проблемой адаптивного транслирования видео по запросу. Чем больше прочитано в этой тематике, тем больше возникает вопросов и тем более становится понятно, что с такой обширной коллекцией видео предпринимать какие-либо шаги стоит лишь проконсультировавшись с опытным человеком. Задача в целом представляется тривиальной, но с другой стороны хочется иметь сразу несколько возможностей, чтобы не возвращаться к вопросу перекодирования существующего видео по несколько раз.
Что у нас есть - обширная коллекция видео файлов в размере 20 терабайт в двух форматах - webm и mp4 с битрейтом 1600kb/s. Одновременно в час пик у нас просматривают видео 3000+ пользователей, всего у нас 8 серверов с 10ГБ/с трафиком суммарно.
Нам нужно поддерживать hls, mpeg-dash и обычные mp4/webm для наших файлов в различных битрейтах, желательно хранить их экономно по диску (каждый сервер с видео имеет 48ТБ диска и 20ТБ уже уходит на mp4/webm в одном 1600кб/с битрейте), возможно конвертируя в меньший битрейт на лету, если это возможно.
Очень бы хотелось проконсультироваться с опытным в этой области человеком, который смог бы объяснить основные тонкости хранения и раздачи видео в нескольких форматах и битрейтах и помочь подобрать наилучшее решение для нашей задачи.
Готовы заплатить за вашу консультацию, напишите пожалуйста ваши контактные данные и немного о своей экспертизе.
Очень бы хотелось проконсультироваться с опытным в этой области человеком, который смог бы объяснить основные тонкости хранения и раздачи видео в нескольких форматах и битрейтах и помочь подобрать наилучшее решение для нашей задачи.
Тонкость хранения - это конкретно зависит от вашего проэкта. Обычно архивное видео хранятся на массивах больших - а топовые распределяются по кешерам ( при помощи балансировщика ).
К вопросам надо подходить фактически, исходя из ситуации. будет время напишите поговорим, так сказать по душам ;)
Lubimov: rackmountable или нет? Посоветуйте вариант конфига посовременнее, этих бордов и сегодня полно в продаже(по крайней мере у нас). Думаю использовать пару SSD + пару SATA 6G/s.
Проверенный рабочий вариант для стойки, может есть у кого? Планирую брать ASUS P6T SE,socket 1366 + i7 930 (8M Cache, 2.80 GHz, 4.80 GT/s Intel® QPI), не пойму потянет он под сервак с нагрузкой или нет.
Я лично не понял о каких нагрузках речь идёт ? детальнее...
как правило - вы будите упираться в гигабитные каналы связи.
Это как посмотреть в что ему упираться. тут точкой отказа могут быть и SSD диски.
pupseg
Если у вас большой поток одновременных просмотров в месяц - то вам понадобятся выделенные каналы связи ,не shared-гигабит, внутри которого обязательно будет лимит по объемам трафика в 10-50Тбайт.
При большом просмотре страниц - это какой обьём должен быть что-бы сайт в такой траффик влез ? - другое дело если вы речь ведёте за медиа сервера отдачи.. не путайте TC.
pupseg
Поэтому вам нужен будет нужен выделенный постоянный гигабит. Средняя цена в Европе - 400-600Евро в месяц, в России - от 15 000 до 40 000руб.
Зачем расписовать такие цены не зная масштабности TC ?
pupseg
Далее вам нужны будут серверы в соответствии с вашими объемами видео-роликов. С очень быстрыми дисковыми системами и массивами. Ведь на обычных SATA-дисках без собранных массивов raid вы не раздадите быстрее чем 300-400Мбит\с, поэтому ставят аппаратные массивы и серверы с большим объемом оперативной памяти, и "горячий" контент засовывают в память, так как она работает естественно быстрее чем обычный диск. Такие серверы стоят от 100евро в месяц. Так же - возможно вам понадобится какая-то абузоустойчивость ,или лояльная реакция на абузы.
3 Винта 7200 в RAID 0 отдадут до 3 гигабит - в среднем цена такова сервера 600$ + сетап - у одних
Мы например берём сервера с 10 гигабитным потолком безлимит за 2k баксов круто ? :) смотря с кем работать ;)
pupseg
По очень грубым прикидкам имеем как минимум серверы минимум от 100евро за штуку в месяц + выделенный канал на этот сервер - минимум 400евро.
Получается старт за один севрер от 500евро. - что получим за 500 евро ? :)
pupseg
Первое время можете попробовать обойтись без выделенного канала, но это уже зависит от вас, как быстро вы выберете включенный объем трафика в ваш канал и датацентр вас начнет тарифицировать погигабайтно.
Обойтись ? люди будут смотреть фильмы так-же как и с сторонних серверов, прикольно за что платить ? зачем советовать то что небудет работать качественно ? если TC хочет уйти от сторонних плееров.
pupseg
как то так, по очень грубым прикидкам.
Да-уж как-то так будет работать 😂
всякие там облачные хранилища можете не смотреть. Выглядит все это дешего, как только пойдет промышленная нагрузка - в разы дороже чем собственные серверы в аренде .
Ну тут правда :)
pupseg
Например один из моих клиентов имеет 4 сервера, в каждом аппаратный raid ssd контроллер. каждый севрер ему обходится в 180$. итого 720$. канал он берет пока 3гбит, а не 4гбит. пока ему хватает. платит около 1200$ в месяц за 3гбит.
За 3 гигабита 1200 баксов в месяц ? круто.. 720 + 1200 = 1920$ - дороговато даже слишком :)
pupseg
Если же у вас трафика не так много - то пока можно обойтись обычными железками, но если попрет - имейте ввиду -что первое во что вы упретесь - это в оборудование в части скорости работы дисковой системы и в канал связи.
Когда нету траффика все показуют сторонние плеера и сюда не обращаются :)
pupseg
у другого клиента хранилище - просто сервер, набитый контентом за 100баксов в каком то европейском ДЦ.
Да уж- представляю качество 😂
pupseg
и сайт - на VPS, который ретранслирует этот контент.
но у него нагрузка 60Мбит в пике .. он и платит за всю эту песню 120баксов в месяц. 100 за сервер и 20 за впс. трафика выбирает мало....
в общем все зависит от вас.
Когда TC хочет своё, бюджетные варианты " авось будет работать. не приемлемы"
Мне как-бы реклама уже давно не нужна, если чесно, не парюсь даже по этому вопросу.. мне немного не приятно такое читать , а вот аватар реально хочу изменить :)
И я в работе довольно добрый админ, и всегда готов помочь если время есть, и бесплатно ( мелочные вопросы ) так-что почему бы мне, к обществу и не обратится ?
---------- Добавлено 03.10.2014 в 20:42 ----------
Если ещё-что то будет камрады кидайте мне конечно для разнообразности хочется присмотреть ещё варианты, а так спасибо,KRUCHOK может и этот провесит 3 года пока не надоест :)
Всем привет,
Мы занимаемся предоставлением услуг онлайн кинотеатра и столкнулись с проблемой адаптивного транслирования видео по запросу. Чем больше прочитано в этой тематике, тем больше возникает вопросов и тем более становится понятно, что с такой обширной коллекцией видео предпринимать какие-либо шаги стоит лишь проконсультировавшись с опытным человеком. Задача в целом представляется тривиальной, но с другой стороны хочется иметь сразу несколько возможностей, чтобы не возвращаться к вопросу перекодирования существующего видео по несколько раз.
Что у нас есть - обширная коллекция видео файлов в размере 20 терабайт в двух форматах - webm и mp4 с битрейтом 1600kb/s. Одновременно в час пик у нас просматривают видео 3000+ пользователей, всего у нас 8 серверов с 10ГБ/с трафиком суммарно.
Нам нужно поддерживать hls, mpeg-dash и обычные mp4/webm для наших файлов в различных битрейтах, желательно хранить их экономно по диску (каждый сервер с видео имеет 48ТБ диска и 20ТБ уже уходит на mp4/webm в одном 1600кб/с битрейте), возможно конвертируя в меньший битрейт на лету, если это возможно.
Очень бы хотелось проконсультироваться с опытным в этой области человеком, который смог бы объяснить основные тонкости хранения и раздачи видео в нескольких форматах и битрейтах и помочь подобрать наилучшее решение для нашей задачи.
Готовы заплатить за вашу консультацию, напишите пожалуйста ваши контактные данные и немного о своей экспертизе.
Тонкость хранения - это конкретно зависит от вашего проэкта. Обычно архивное видео хранятся на массивах больших - а топовые распределяются по кешерам ( при помощи балансировщика ).
К вопросам надо подходить фактически, исходя из ситуации. будет время напишите поговорим, так сказать по душам ;)
Тюб, порядка 20-200 юзеров онлайн, видео на серваке.
Кодировать видео надо? На серваке предполагается только контент или сам сайт с базой тоже?
Так-же думаю как Andron_buton, все на одном сервере ?
что за график,старт с гигабита?
где-то я уже слышал этот лозунг. Если сделать график с LINE3 И размером 50 на 200 пикселей, то вообще стабильность будет всегда.
Я дал тебе с порта статистику, могу с мунина кинуть будет то-же самое ;)
Че мне доказывать :)
Кому это оно должно?
Ну я не знаю, кому у тебя должно быть, а у меня требуют - что бы была стабильность :)
Чё за график, старт с 6 гигабита :)
10 гигабит халявы врядле будет, - но цену, может и обсудить :)
а чё за провалы то в графике ? :)
Ровнёхонько должно быть ;)
rackmountable или нет? Посоветуйте вариант конфига посовременнее, этих бордов и сегодня полно в продаже(по крайней мере у нас). Думаю использовать пару SSD + пару SATA 6G/s.
Проверенный рабочий вариант для стойки, может есть у кого? Планирую брать ASUS P6T SE,socket 1366 + i7 930 (8M Cache, 2.80 GHz, 4.80 GT/s Intel® QPI), не пойму потянет он под сервак с нагрузкой или нет.
Я лично не понял о каких нагрузках речь идёт ? детальнее...
pupseg
все зависит от ваших нагрузок, ваших объемов.
как правило - вы будите упираться в гигабитные каналы связи.
pupseg
Если у вас большой поток одновременных просмотров в месяц - то вам понадобятся выделенные каналы связи ,не shared-гигабит, внутри которого обязательно будет лимит по объемам трафика в 10-50Тбайт.
pupseg
Поэтому вам нужен будет нужен выделенный постоянный гигабит. Средняя цена в Европе - 400-600Евро в месяц, в России - от 15 000 до 40 000руб.
pupseg
Далее вам нужны будут серверы в соответствии с вашими объемами видео-роликов. С очень быстрыми дисковыми системами и массивами. Ведь на обычных SATA-дисках без собранных массивов raid вы не раздадите быстрее чем 300-400Мбит\с, поэтому ставят аппаратные массивы и серверы с большим объемом оперативной памяти, и "горячий" контент засовывают в память, так как она работает естественно быстрее чем обычный диск. Такие серверы стоят от 100евро в месяц. Так же - возможно вам понадобится какая-то абузоустойчивость ,или лояльная реакция на абузы.
Мы например берём сервера с 10 гигабитным потолком безлимит за 2k баксов круто ? :) смотря с кем работать ;)
pupseg
По очень грубым прикидкам имеем как минимум серверы минимум от 100евро за штуку в месяц + выделенный канал на этот сервер - минимум 400евро.
pupseg
Первое время можете попробовать обойтись без выделенного канала, но это уже зависит от вас, как быстро вы выберете включенный объем трафика в ваш канал и датацентр вас начнет тарифицировать погигабайтно.
pupseg
как то так, по очень грубым прикидкам.
всякие там облачные хранилища можете не смотреть. Выглядит все это дешего, как только пойдет промышленная нагрузка - в разы дороже чем собственные серверы в аренде .
pupseg
Например один из моих клиентов имеет 4 сервера, в каждом аппаратный raid ssd контроллер. каждый севрер ему обходится в 180$. итого 720$. канал он берет пока 3гбит, а не 4гбит. пока ему хватает. платит около 1200$ в месяц за 3гбит.
pupseg
Если же у вас трафика не так много - то пока можно обойтись обычными железками, но если попрет - имейте ввиду -что первое во что вы упретесь - это в оборудование в части скорости работы дисковой системы и в канал связи.
pupseg
у другого клиента хранилище - просто сервер, набитый контентом за 100баксов в каком то европейском ДЦ.
pupseg
и сайт - на VPS, который ретранслирует этот контент.
но у него нагрузка 60Мбит в пике .. он и платит за всю эту песню 120баксов в месяц. 100 за сервер и 20 за впс. трафика выбирает мало....
в общем все зависит от вас.
Нема работы совсем?
И че вас так, моя работа беспокоит ? 🍿 все у меня в порядке -
p.s У меня даже есть протеже Bl 300 ^_^ :)
И тему со своими услугами попиарил и решил халявный конкурс на аватар устроить.
🙅
Вот ветка если че
Мне как-бы реклама уже давно не нужна, если чесно, не парюсь даже по этому вопросу.. мне немного не приятно такое читать , а вот аватар реально хочу изменить :)
И я в работе довольно добрый админ, и всегда готов помочь если время есть, и бесплатно ( мелочные вопросы ) так-что почему бы мне, к обществу и не обратится ?
---------- Добавлено 03.10.2014 в 20:42 ----------
Если ещё-что то будет камрады кидайте мне конечно для разнообразности хочется присмотреть ещё варианты, а так спасибо,KRUCHOK может и этот провесит 3 года пока не надоест :)
Не, ну а чо. :)
Не плохо, а ещё есть идеи ?
Кэмерон огорчён 🙅
Ну мне до снудина, далеко. и ему щас не до аватар ))
madoff, не менять!
Не знаю смотрю выше вроде круче моего ( детского ) 🍿