horofag: Это можно реализовать и на более высоких уровнях. И вообще, решать подобные задачи можно кучей способов и ваш не самый плохой и трудный) Так что стройте как себе задумали.
Алсо это не кластер, а файловое хранилище.
А как-же lustre,ceph, Естественно я выбрал glusterfs мне очень понравилась опция RR - которая в зависимости от скорости дисков + места выбирает куда класть файлы, в прицепе и random подойдет.
Пару дельных советов я подчеркнул, но разве это всё ? что можно сказать :)
Karl_ung: Вам нужен балансер который высчитаете не нужным, вам нужно сосредоточится именно на равномерном распределении нагрузки на оборудование и каналы, тюнить скорость доступа и сохранность данных успеете всегда.
Ну или смотрите в сторону облачных сервисов.
вам нужно сосредоточится именно на равномерном распределении нагрузки на оборудование и каналы
Я уже показал схему где распределена нагрузка, на каждый сервер(кластера),и более того написал принцеп работы чуть выше, то что вы этого не видите это ваши проблемы.
На каналы и оборудования надо обращать в первую очередь, так как это видео хранилище, и пренебрегать этим будет большая ошибка.
Облачные решение тут не нужны.
Балансер на web server не нужен, сервер статику проглотит, и выплюнет , будет мало одного web server поднимем два, при-монтируем сетевой каталог на второй и распределим нагрузку через dns,(по простому). сейчас вопрос стоит в построении самого кластера.
yesRuslik: Надежность достигается разными методами. Рейд-массив с резервированием - это глобально слишком для такой задачи. Один знакомый туб раздает более 10Г, хранилища - простые машинки с 6х2Тб рейд0 + 2кратное резервирование контента в разные ноды. Поверх гластер, резервирование с помощью него сделано. Но я считаю, что можно было бы обойтись и без него, с ним просто удобно управлять.
Мне надо что бы на 4 сервера, при копировании в сетевую папку на web server, каждый файл ложился (RR)(RANDOM) на один из 4 серверов, надо мощностей добавляю сервер + 1 и он участвует в роли общего кластера.
Соответственно каждый из серверов защищен RAID что бы не потерять данные.
Мне не надо что бы web server участвовал в роле балансера он просто будет отдавать контент с папки.
Karl_ung - надо конкретнее. в теории я давно выстроил мега кластер.
Karl_ung: Самая большая проблема, в подобных приложениях это обеспечение равномерности нагрузки на систему, и возможность масштабирования, то есть некая возможность путем добавления устройства в узел, увеличить производительность этого узла.
Понятно что когда сгорит свитч, вы его замените, а что вы будете делать когда он перегреется?
И кстати на мой взгляд репликация + простая система распределения трафика с прямым обращением к хранилищу самый лучший вариант.
xcache or apc
Обращайтесь
Это можно реализовать и на более высоких уровнях. И вообще, решать подобные задачи можно кучей способов и ваш не самый плохой и трудный) Так что стройте как себе задумали.
Алсо это не кластер, а файловое хранилище.
А как-же lustre,ceph, Естественно я выбрал glusterfs мне очень понравилась опция RR - которая в зависимости от скорости дисков + места выбирает куда класть файлы, в прицепе и random подойдет.
Пару дельных советов я подчеркнул, но разве это всё ? что можно сказать :)
Зачем?
/ru/forum/comment/11054289
Ext4, ssd, nginx на каждом сервере и балансировка через rdns
Зачем ты мне натягиваешь свою балалайку я же конкретно пишу.
нам надо распределения на уровне FS
нам надо распределения на уровне FS. Сервера будут все в одной стойке + свитч Что подскажите на вскидку ?
Вам нужен балансер который высчитаете не нужным, вам нужно сосредоточится именно на равномерном распределении нагрузки на оборудование и каналы, тюнить скорость доступа и сохранность данных успеете всегда.
Ну или смотрите в сторону облачных сервисов.
Я уже показал схему где распределена нагрузка, на каждый сервер(кластера),и более того написал принцеп работы чуть выше, то что вы этого не видите это ваши проблемы.
На каналы и оборудования надо обращать в первую очередь, так как это видео хранилище, и пренебрегать этим будет большая ошибка.
Облачные решение тут не нужны.
Балансер на web server не нужен, сервер статику проглотит, и выплюнет , будет мало одного web server поднимем два, при-монтируем сетевой каталог на второй и распределим нагрузку через dns,(по простому). сейчас вопрос стоит в построении самого кластера.
Надежность достигается разными методами.
Рейд-массив с резервированием - это глобально слишком для такой задачи.
Один знакомый туб раздает более 10Г, хранилища - простые машинки с 6х2Тб рейд0 + 2кратное резервирование контента в разные ноды. Поверх гластер, резервирование с помощью него сделано.
Но я считаю, что можно было бы обойтись и без него, с ним просто удобно управлять.
Мне надо что бы на 4 сервера, при копировании в сетевую папку на web server, каждый файл ложился (RR)(RANDOM) на один из 4 серверов, надо мощностей добавляю сервер + 1 и он участвует в роли общего кластера.
Соответственно каждый из серверов защищен RAID что бы не потерять данные.
Мне не надо что бы web server участвовал в роле балансера он просто будет отдавать контент с папки.
Karl_ung - надо конкретнее. в теории я давно выстроил мега кластер.
Самая большая проблема, в подобных приложениях это обеспечение равномерности нагрузки на систему, и возможность масштабирования, то есть некая возможность путем добавления устройства в узел, увеличить производительность этого узла.
Понятно что когда сгорит свитч, вы его замените, а что вы будете делать когда он перегреется?
И кстати на мой взгляд репликация + простая система распределения трафика с прямым обращением к хранилищу самый лучший вариант.
Репликация чего ?.
Трафик распределять какой ?.
А если не перегреется ? :)
yesRuslik
Думаю RAID 6 как вариант спасибо.
-
И я вас не понял вы тоже думаете что нам надо копировать файлы ? ( дублировать ? )