RAID5 для стриминга видео, реально? - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 11.01.2018, 23:32   #1
Аспирант
 
Регистрация: 29.02.2008
Адрес: Spb
Сообщений: 203
Репутация: 3311

По умолчанию RAID5 для стриминга видео, реально?

На сервере 10 SATA дисков по 2Тб.
Сервер настраивается под стриминг видео.

Средний размер видео файла 100мб.
Плановый исходящий трафик avg 250 Мбит/с, max 500 Мбит/с.

По тестам один SATA диск способен отдавать до 60 Мбит/с.

Как RAID5 сказывается на производительности чтения дисков?

Во сколько эта производительность будет меньше, арифметической суммы - 60*10шт = 600Мбит/с. ?
kdj вне форума   Ответить с цитированием

Реклама
Старый 12.01.2018, 00:02   #2
foxi
Особый статус
 
Аватар для foxi
 
Регистрация: 03.03.2011
Адрес: Budva
Сообщений: 8,002
Репутация: 951031
Социальные сети

По умолчанию Re: RAID5 для стриминга видео, реально?

kdj, это в линейном тесте 60 мбс, в реале фрагментация, многопоточный доступ, расходы на сам raid 5 и скорость уже на половину ниже. Я б выбрал raid 0 для отдачи + диски для бекапа, на случай смерти raid 0 , чтоб быстрее пересоздать его и залить файлы.
foxi вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.01.2018, 11:55   #3
Bananzz
Аспирант
 
Регистрация: 21.10.2010
Сообщений: 122
Репутация: 11286
Отправить сообщение для Bananzz с помощью ICQ

По умолчанию Re: RAID5 для стриминга видео, реально?

Учтите ещё проблемы с raid5 на больших объёмах данных при выходе из degraded-state.
И, заодно, если есть "горячие" видео - можно их перекладывать на ssd-кеши или даже рамдиски, чтобы разгрузить основной массив.
__________________
Дела должны делаться
Bananzz вне форума   Ответить с цитированием
Старый 12.01.2018, 11:58   #4
LEOnidUKG
『 Работаем 』
 
Аватар для LEOnidUKG
 
Регистрация: 25.11.2006
Адрес: Интернет
Сообщений: 20,373
Репутация: 1780365
Отправить сообщение для LEOnidUKG с помощью ICQ

По умолчанию Re: RAID5 для стриминга видео, реально?

А видео сколько занимают на сервере, все 2 ТБ?
LEOnidUKG на форуме   Ответить с цитированием
Старый 12.01.2018, 21:41   #5
porutchik
Академик
 
Аватар для porutchik
 
Регистрация: 21.04.2008
Сообщений: 1,877
Репутация: 120748
Социальные сети Профиль в ВКонтакте

По умолчанию Re: RAID5 для стриминга видео, реально?

Цитата:
Сообщение от kdj Посмотреть сообщение
По тестам один SATA диск способен отдавать до 60 Мбит/с.
Не Мбит/с, а Мбайт/с.
С 10-ю дисками в raid5 можете легко раздавать 2000-10000 Мбит/с в зависимости от контента.
__________________
Интернет Хостинг Центр IHC.RU - Хостинг, KVM и OpenVZ VPS на SSD, аренда серверов. Работаем по ГОСТ Р 57489-2017
Telegram, VK, Twitter
porutchik на форуме   Ответить с цитированием
Старый 12.01.2018, 23:03   #6
Оптимизайка
Академик
 
Аватар для Оптимизайка
 
Регистрация: 11.03.2012
Адрес: 127.0.0.1
Сообщений: 3,245
Репутация: 488461

По умолчанию Re: RAID5 для стриминга видео, реально?

Цитата:
Сообщение от kdj Посмотреть сообщение
Как RAID5 сказывается на производительности чтения дисков
Делайте raid50, будет 16 Тб

https://www.techrepublic.com/blog/th...ata-integrity/
Оптимизайка вне форума   Ответить с цитированием
Сказали спасибо:
Старый 13.01.2018, 16:06   #7
coolwebsearcher
сисадмин
 
Аватар для coolwebsearcher
 
Регистрация: 29.09.2008
Сообщений: 110
Репутация: 12555
Отправить сообщение для coolwebsearcher с помощью ICQ Отправить сообщение для coolwebsearcher с помощью Skype™

По умолчанию Re: RAID5 для стриминга видео, реально?

Для раздачи видео рекомендуются использовать просто диски (без рейда).

Этим вы получаете более высокую скорость доступа к контенту при меньшей нагрузке на систему (если популярный конент будет раскидан по дискам). Есть решения для автоматизации этого дела. Ососбо популярный контент, раздается другим способом (SSD или из рамдиска).

Для надежности - применяют бекап (лучше, если это будет между серверами, первый сервер бекапится на второй, второй на первый).

Есть опробованное решение, которое позволяется раздавать с сервера более 10gbit/s (при полке 10gbit/s узкое место было в 10gbit/s сетевухе, а не в IO системы).

это все справедливо, для трафа более гигабита.
coolwebsearcher вне форума   Ответить с цитированием
Старый Вчера, 13:31   #8
madoff
[root@local ~]#
 
Регистрация: 02.12.2009
Адрес: world
Сообщений: 3,078
Репутация: 117794
Отправить сообщение для madoff с помощью ICQ Отправить сообщение для madoff с помощью Skype™

По умолчанию Re: RAID5 для стриминга видео, реально?

Цитата:
Сообщение от kdj Посмотреть сообщение
На сервере 10 SATA дисков по 2Тб.
Сервер настраивается под стриминг видео.

Средний размер видео файла 100мб.
Плановый исходящий трафик avg 250 Мбит/с, max 500 Мбит/с.

По тестам один SATA диск способен отдавать до 60 Мбит/с.

Как RAID5 сказывается на производительности чтения дисков?

Во сколько эта производительность будет меньше, арифметической суммы - 60*10шт = 600Мбит/с. ?
################

Лучше уже RAID 6 - отказоустойчивость поднимется.

Нужно детальнее понимать что вы хотите получить в итоге. если горячее видео, то не факт что 10 дисков вас спасет.

что бы радовать 10 гигабит под потолок, достаточно 4 SSD диска 4 ядра и 32 гб памяти ( это горячее видео ) что бы радовать обычное видео например 4 диска HDD RAID 0 при 2-3 тера контента можно выжать 3-4 гигабита.

На десяти дисках RAID 5 - думаю вы выжмите при контенте 5-8 тер - максимум 5-6 гигабит. Возможно SSD еще доставить на сервер под горячий контент. Если вы уж так сильно хотите сэкономить.
Мы в свое время радовали под 250 гигабит. Там 1 сервером не обойдешься.
__________________
Администратор Linux,Freebsd.
построения крупных проектов.
ICQ#: 241606.
madoff вне форума   Ответить с цитированием
Старый Вчера, 15:16   #9
Andreyka
Настройщик серверов
 
Аватар для Andreyka
 
Регистрация: 19.02.2005
Адрес: Odessa
Сообщений: 12,718
Репутация: 391399
Отправить сообщение для Andreyka с помощью ICQ Отправить сообщение для Andreyka с помощью AIM Отправить сообщение для Andreyka с помощью MSN Отправить сообщение для Andreyka с помощью Yahoo Отправить сообщение для Andreyka с помощью Skype™ Send Message via Jabber to Andreyka
Социальные сети Профиль на Хабрахабре

По умолчанию Re: RAID5 для стриминга видео, реально?

Как показывает практика - aufs оптимальный вариант
__________________
Взлом шифрованной файловой системы LUKS - реальность!
Andreyka вне форума   Ответить с цитированием
Старый Вчера, 18:19   #10
cinquefoil2014
Аспирант
 
Регистрация: 13.02.2015
Адрес: Москва
Сообщений: 231
Репутация: 742
Отправить сообщение для cinquefoil2014 с помощью Skype™

По умолчанию Re: RAID5 для стриминга видео, реально?

Я не советую вам RAID5 так как вы потом за это огребете, вот почитайте вот тут об этом. Я на вашем бы месте создал бы 50-60 RAID. И какой у вас контроллер встроенный или внешний?
cinquefoil2014 вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 18:49. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны