madoff

Рейтинг
235
Регистрация
01.12.2009
Должность
administrator
Интересы
Linux Unix
I am terminator ;)

xcache or apc

horofag:
Это можно реализовать и на более высоких уровнях. И вообще, решать подобные задачи можно кучей способов и ваш не самый плохой и трудный) Так что стройте как себе задумали.
Алсо это не кластер, а файловое хранилище.

А как-же lustre,ceph, Естественно я выбрал glusterfs мне очень понравилась опция RR - которая в зависимости от скорости дисков + места выбирает куда класть файлы, в прицепе и random подойдет.

Пару дельных советов я подчеркнул, но разве это всё ? что можно сказать :)

Andreyka:
Ext4, ssd, nginx на каждом сервере и балансировка через rdns

Зачем ты мне натягиваешь свою балалайку я же конкретно пишу.

нам надо распределения на уровне FS

нам надо распределения на уровне FS. Сервера будут все в одной стойке + свитч Что подскажите на вскидку ?

Karl_ung:
Вам нужен балансер который высчитаете не нужным, вам нужно сосредоточится именно на равномерном распределении нагрузки на оборудование и каналы, тюнить скорость доступа и сохранность данных успеете всегда.

Ну или смотрите в сторону облачных сервисов.
вам нужно сосредоточится именно на равномерном распределении нагрузки на оборудование и каналы

Я уже показал схему где распределена нагрузка, на каждый сервер(кластера),и более того написал принцеп работы чуть выше, то что вы этого не видите это ваши проблемы.

На каналы и оборудования надо обращать в первую очередь, так как это видео хранилище, и пренебрегать этим будет большая ошибка.

Облачные решение тут не нужны.

Балансер на web server не нужен, сервер статику проглотит, и выплюнет , будет мало одного web server поднимем два, при-монтируем сетевой каталог на второй и распределим нагрузку через dns,(по простому). сейчас вопрос стоит в построении самого кластера.

yesRuslik:
Надежность достигается разными методами.
Рейд-массив с резервированием - это глобально слишком для такой задачи.
Один знакомый туб раздает более 10Г, хранилища - простые машинки с 6х2Тб рейд0 + 2кратное резервирование контента в разные ноды. Поверх гластер, резервирование с помощью него сделано.
Но я считаю, что можно было бы обойтись и без него, с ним просто удобно управлять.

Мне надо что бы на 4 сервера, при копировании в сетевую папку на web server, каждый файл ложился (RR)(RANDOM) на один из 4 серверов, надо мощностей добавляю сервер + 1 и он участвует в роли общего кластера.

Соответственно каждый из серверов защищен RAID что бы не потерять данные.

Мне не надо что бы web server участвовал в роле балансера он просто будет отдавать контент с папки.

Karl_ung - надо конкретнее. в теории я давно выстроил мега кластер.

Karl_ung:
Самая большая проблема, в подобных приложениях это обеспечение равномерности нагрузки на систему, и возможность масштабирования, то есть некая возможность путем добавления устройства в узел, увеличить производительность этого узла.
Понятно что когда сгорит свитч, вы его замените, а что вы будете делать когда он перегреется?

И кстати на мой взгляд репликация + простая система распределения трафика с прямым обращением к хранилищу самый лучший вариант.

Репликация чего ?.

Трафик распределять какой ?.

А если не перегреется ? :)

yesRuslik

Думаю RAID 6 как вариант спасибо.

-

достаточно базы файлов и простого 2-3х кратного копирования контента в разные места

И я вас не понял вы тоже думаете что нам надо копировать файлы ? ( дублировать ? )

Всего: 3250