Строю клайстер + сеть, ваши советы.

Тут нужна другая архитектура

Ты мне уже надоел извини. Выдрать из тебя по букве я не буду, лишний флуд ты создашь в теме, собственно как и всегда.

Ув Коллеге, есть кто по теме может дать развёрнутый ответ. Интересует построения файлового кластера. Я взял за основу glusterfs , есть ещё мысли ?

glusterfs сам будет точкой отказа, нужно будет иметь специалистов по нему чтобы решать проблемы. Раз у Вас простой видеохостинг, кто мешает дублировать видеофайлы на несколько серверов для обеспечения отказоустойчивости и вести распределённую базу?

Я не специалист по видеохостингу, но сразу приходит в голову, что разные файлы имеют разную популярность. Если использовать glusterfs, файлы на сервера ложатся непредсказуемо; если копировать, то можно реализовать алгоритм снижения нагрузки, располагая популярные файлы на разных серверах.

Нам надо не дублирования файлов.

Режим distribute DHT, распределяет файлы по подлежащим томам с помощью хеш-функции

допустим вышел из строя сервер 3, кластер не выйдет из строя и будет дальше продолжать работать, понятно часть файлов пропадет с каталога. Но что бы минимизировать потери мы и строим RAID 10.

Популярность файлов ? хорошо было замечено. Но забить 4G сервер одним популярным файлом я пока не представляю когда это случится, а если так настанет мы расширим сеть всю на 10G - и дисковую подсистему.

Коллеги. Сейчас речь о не большом проекте, спасибо что вы думаете за будущее, но о будущем мы позаботимся когда упремся :)

Glusterfs пробовали в свое время (пару лет назад), больше не пробуем :) Может конечно что-то и поменялось с того времени, но тогда это было нереально медленно.

Главная проблема в том, что для отдачи каждого файла, предварительно проверяется что он не изменился на всех других серверах.

Вероятно есть схемы, при которых подобная технология будет нормально работать, но с хостингом такие задержки не реальны.

Я бы использовал что-нибудь из серии openstack

зачем проверять файл, который не будет дублироваться на все сервера...режим distribute - option scheduler random or RR

Не извиню. Это форум, а ты сам пришел с вопросами.

попробуй так:

haproxy + drbd, работало долгое время.

твоя схема тоже вполне дееспособна... а чо...

только горячий контент раздавал бы из памяти сначала.

Не подходит.

Там drbd тоже не нужен