Строю клайстер + сеть, ваши советы.

Схемма вполне живая, но я бы убрал рейд10, ни к чему он, расход дисков повышается.

Если использовать - то рейд5(6) уже.

Можно делать просто 2кратное резервирование на самой фс, чтобы файлики попадали физически на разные серверы-хранилища.

Строили кластер на гластере с размером одного пространства 600Тб, работает, скорость в порядке. Больший размер не рискнули делать.

Для видео-хостинга IMHO гластер не нужен, достаточно базы файлов и простого 2-3х кратного копирования контента в разные места + кеш в память/ссд на вебсервере.

yesRuslik

Думаю RAID 6 как вариант спасибо.

-

И я вас не понял вы тоже думаете что нам надо копировать файлы ? ( дублировать ? )

Самая большая проблема, в подобных приложениях это обеспечение равномерности нагрузки на систему, и возможность масштабирования, то есть некая возможность путем добавления устройства в узел, увеличить производительность этого узла.

Понятно что когда сгорит свитч, вы его замените, а что вы будете делать когда он перегреется?

И кстати на мой взгляд репликация + простая система распределения трафика с прямым обращением к хранилищу самый лучший вариант.

Репликация чего ?.

Трафик распределять какой ?.

А если не перегреется ? :)

Хранилища.

К хранилищу

Я не знаю что Вы будете делать если все работает, может быть пиво пить?:)

Надежность достигается разными методами.

Рейд-массив с резервированием - это глобально слишком для такой задачи.

Один знакомый туб раздает более 10Г, хранилища - простые машинки с 6х2Тб рейд0 + 2кратное резервирование контента в разные ноды. Поверх гластер, резервирование с помощью него сделано.

Но я считаю, что можно было бы обойтись и без него, с ним просто удобно управлять.

Мне надо что бы на 4 сервера, при копировании в сетевую папку на web server, каждый файл ложился (RR)(RANDOM) на один из 4 серверов, надо мощностей добавляю сервер + 1 и он участвует в роли общего кластера.

Соответственно каждый из серверов защищен RAID что бы не потерять данные.

Мне не надо что бы web server участвовал в роле балансера он просто будет отдавать контент с папки.

Karl_ung - надо конкретнее. в теории я давно выстроил мега кластер.

Вам нужен балансер который высчитаете не нужным, вам нужно сосредоточится именно на равномерном распределении нагрузки на оборудование и каналы, тюнить скорость доступа и сохранность данных успеете всегда.

Ну или смотрите в сторону облачных сервисов.

Я уже показал схему где распределена нагрузка, на каждый сервер(кластера),и более того написал принцеп работы чуть выше, то что вы этого не видите это ваши проблемы.

На каналы и оборудования надо обращать в первую очередь, так как это видео хранилище, и пренебрегать этим будет большая ошибка.

Облачные решение тут не нужны.

Балансер на web server не нужен, сервер статику проглотит, и выплюнет , будет мало одного web server поднимем два, при-монтируем сетевой каталог на второй и распределим нагрузку через dns,(по простому). сейчас вопрос стоит в построении самого кластера.

Определитесь, в чем вопрос.

Если в толерантном к отказам хранилища, то 3 варианта

- Стандартный, SAN + его дублирование (дорого, но многие используют по старинке)

- Распределенные файловые "клаудные" решения. OpenStack, зреющее от Parallels. Или что-то мутить с gfs подобными. Есть варианты и с unicast распределенными хранилищами в разных дц, но это уже фактически свой CDN.

- Взять готовый CDN. Может дороже чем свои решения, но сразу получаете и 100% uptime и короткий пинг, что важно для видео.

Если вопрос распределения нагрузки, то решается разными средствами. Навскидку,

- Один или несколько веб-морд с haproxy и varnish, которые отдают от бэкендов и заодно следять что они живые.

- Распределение между разными серверами через ДНС. У нас есть готовые решение для этого, с гео-привязкой вплоть до областей, ну и мониторинг само собой.

- Тоже самое, но через unicast. Дорого но надежно.

Разные комбинации возможны :) Например, первый и второй.

Если нужна практическая помощь - обращайтесь в ПМ, построили уже не один десяток кластеров.

В целом, если есть под это дело клиент который платит деньги, то я бы брал готовые решения. Разрабатывать свое всегда хорошо, но зачастую дороже в конечном итоге.