RAID5 для стриминга видео, реально? - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 11.01.2018, 23:32   #1
Аспирант
 
Регистрация: 29.02.2008
Адрес: Spb
Сообщений: 203
Репутация: 3311

По умолчанию RAID5 для стриминга видео, реально?

На сервере 10 SATA дисков по 2Тб.
Сервер настраивается под стриминг видео.

Средний размер видео файла 100мб.
Плановый исходящий трафик avg 250 Мбит/с, max 500 Мбит/с.

По тестам один SATA диск способен отдавать до 60 Мбит/с.

Как RAID5 сказывается на производительности чтения дисков?

Во сколько эта производительность будет меньше, арифметической суммы - 60*10шт = 600Мбит/с. ?
kdj вне форума   Ответить с цитированием

Реклама
Старый 12.01.2018, 00:02   #2
foxi
Mik Foxi
 
Аватар для foxi
 
Регистрация: 03.03.2011
Адрес: Budva
Сообщений: 8,724
Репутация: 980609
Социальные сети Аккаунт в Telegram

По умолчанию Re: RAID5 для стриминга видео, реально?

kdj, это в линейном тесте 60 мбс, в реале фрагментация, многопоточный доступ, расходы на сам raid 5 и скорость уже на половину ниже. Я б выбрал raid 0 для отдачи + диски для бекапа, на случай смерти raid 0 , чтоб быстрее пересоздать его и залить файлы.
foxi вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.01.2018, 11:55   #3
Bananzz
Аспирант
 
Регистрация: 21.10.2010
Сообщений: 148
Репутация: 11286
Отправить сообщение для Bananzz с помощью ICQ

По умолчанию Re: RAID5 для стриминга видео, реально?

Учтите ещё проблемы с raid5 на больших объёмах данных при выходе из degraded-state.
И, заодно, если есть "горячие" видео - можно их перекладывать на ssd-кеши или даже рамдиски, чтобы разгрузить основной массив.
__________________
Дела должны делаться
Bananzz вне форума   Ответить с цитированием
Старый 12.01.2018, 11:58   #4
LEOnidUKG
『 Работаем 』
 
Аватар для LEOnidUKG
 
Регистрация: 25.11.2006
Адрес: Интернет
Сообщений: 21,154
Репутация: 1858429
Отправить сообщение для LEOnidUKG с помощью ICQ

По умолчанию Re: RAID5 для стриминга видео, реально?

А видео сколько занимают на сервере, все 2 ТБ?
LEOnidUKG вне форума   Ответить с цитированием
Старый 12.01.2018, 21:41   #5
porutchik
Академик
 
Аватар для porutchik
 
Регистрация: 21.04.2008
Сообщений: 1,979
Репутация: 134594
Социальные сети Профиль в ВКонтакте

По умолчанию Re: RAID5 для стриминга видео, реально?

Цитата:
Сообщение от kdj Посмотреть сообщение
По тестам один SATA диск способен отдавать до 60 Мбит/с.
Не Мбит/с, а Мбайт/с.
С 10-ю дисками в raid5 можете легко раздавать 2000-10000 Мбит/с в зависимости от контента.
__________________
Интернет Хостинг Центр IHC.RU - Хостинг, KVM и OpenVZ VPS на SSD, аренда серверов. Работаем по ГОСТ Р 57489-2017
Telegram, VK, Twitter
porutchik вне форума   Ответить с цитированием
Старый 12.01.2018, 23:03   #6
Оптимизайка
Академик
 
Аватар для Оптимизайка
 
Регистрация: 11.03.2012
Адрес: 127.0.0.1
Сообщений: 3,646
Репутация: 530860

По умолчанию Re: RAID5 для стриминга видео, реально?

Цитата:
Сообщение от kdj Посмотреть сообщение
Как RAID5 сказывается на производительности чтения дисков
Делайте raid50, будет 16 Тб

https://www.techrepublic.com/blog/th...ata-integrity/
__________________
Слабый Банан? Твой малыш станет больше.
Оптимизайка вне форума   Ответить с цитированием
Сказали спасибо:
Старый 13.01.2018, 16:06   #7
coolwebsearcher
сисадмин
 
Аватар для coolwebsearcher
 
Регистрация: 29.09.2008
Сообщений: 144
Репутация: 20462
Отправить сообщение для coolwebsearcher с помощью Skype™
Социальные сети Аккаунт в Telegram

По умолчанию Re: RAID5 для стриминга видео, реально?

Для раздачи видео рекомендуются использовать просто диски (без рейда).

Этим вы получаете более высокую скорость доступа к контенту при меньшей нагрузке на систему (если популярный конент будет раскидан по дискам). Есть решения для автоматизации этого дела. Ососбо популярный контент, раздается другим способом (SSD или из рамдиска).

Для надежности - применяют бекап (лучше, если это будет между серверами, первый сервер бекапится на второй, второй на первый).

Есть опробованное решение, которое позволяется раздавать с сервера более 10gbit/s (при полке 10gbit/s узкое место было в 10gbit/s сетевухе, а не в IO системы).

это все справедливо, для трафа более гигабита.
coolwebsearcher вне форума   Ответить с цитированием
Старый 17.01.2018, 13:31   #8
madoff
[root@local ~]#
 
Регистрация: 02.12.2009
Адрес: world
Сообщений: 3,122
Репутация: 121254
Отправить сообщение для madoff с помощью ICQ Отправить сообщение для madoff с помощью Skype™

По умолчанию Re: RAID5 для стриминга видео, реально?

Цитата:
Сообщение от kdj Посмотреть сообщение
На сервере 10 SATA дисков по 2Тб.
Сервер настраивается под стриминг видео.

Средний размер видео файла 100мб.
Плановый исходящий трафик avg 250 Мбит/с, max 500 Мбит/с.

По тестам один SATA диск способен отдавать до 60 Мбит/с.

Как RAID5 сказывается на производительности чтения дисков?

Во сколько эта производительность будет меньше, арифметической суммы - 60*10шт = 600Мбит/с. ?
################

Лучше уже RAID 6 - отказоустойчивость поднимется.

Нужно детальнее понимать что вы хотите получить в итоге. если горячее видео, то не факт что 10 дисков вас спасет.

что бы радовать 10 гигабит под потолок, достаточно 4 SSD диска 4 ядра и 32 гб памяти ( это горячее видео ) что бы радовать обычное видео например 4 диска HDD RAID 0 при 2-3 тера контента можно выжать 3-4 гигабита.

На десяти дисках RAID 5 - думаю вы выжмите при контенте 5-8 тер - максимум 5-6 гигабит. Возможно SSD еще доставить на сервер под горячий контент. Если вы уж так сильно хотите сэкономить.
Мы в свое время радовали под 250 гигабит. Там 1 сервером не обойдешься.
__________________
Администратор Linux,Freebsd.
построения крупных проектов.
ICQ#: 241606.
madoff вне форума   Ответить с цитированием
Старый 17.01.2018, 15:16   #9
Andreyka
Настройщик серверов
 
Аватар для Andreyka
 
Регистрация: 19.02.2005
Адрес: Odessa
Сообщений: 12,731
Репутация: 391399
Отправить сообщение для Andreyka с помощью ICQ Отправить сообщение для Andreyka с помощью AIM Отправить сообщение для Andreyka с помощью MSN Отправить сообщение для Andreyka с помощью Yahoo Отправить сообщение для Andreyka с помощью Skype™ Send Message via Jabber to Andreyka
Социальные сети Профиль на Хабрахабре

По умолчанию Re: RAID5 для стриминга видео, реально?

Как показывает практика - aufs оптимальный вариант
__________________
Взлом шифрованной файловой системы LUKS - реальность!
Andreyka вне форума   Ответить с цитированием
Старый 17.01.2018, 18:19   #10
cinquefoil2014
Кандидат наук
 
Регистрация: 13.02.2015
Адрес: Москва
Сообщений: 303
Репутация: 1209
Отправить сообщение для cinquefoil2014 с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: RAID5 для стриминга видео, реально?

Я не советую вам RAID5 так как вы потом за это огребете, вот почитайте вот тут об этом. Я на вашем бы месте создал бы 50-60 RAID. И какой у вас контроллер встроенный или внешний?
cinquefoil2014 вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 08:17. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны