Строю клайстер + сеть, ваши советы.

123 4
Andreyka
На сайте с 19.02.2005
Offline
822
#11

Тут нужна другая архитектура

Не стоит плодить сущности без необходимости
madoff
На сайте с 01.12.2009
Offline
235
#12
Andreyka:
Тут нужна другая архитектура

Ты мне уже надоел извини. Выдрать из тебя по букве я не буду, лишний флуд ты создашь в теме, собственно как и всегда.

Ув Коллеге, есть кто по теме может дать развёрнутый ответ. Интересует построения файлового кластера. Я взял за основу glusterfs , есть ещё мысли ?

Администратор Linux,Freebsd. (/ru/forum/494299) построения крупных проектов. ICQ#: 241606.
P
На сайте с 08.03.2007
Offline
250
#13
madoff:
Ты мне уже надоел извини. Выдрать из тебя по букве я не буду, лишний флуд ты создашь в теме, собственно как и всегда.

Ув Коллеге, есть кто по теме может дать развёрнутый ответ. Интересует построения файлового кластера. Я взял за основу glusterfs , есть ещё мысли ?

glusterfs сам будет точкой отказа, нужно будет иметь специалистов по нему чтобы решать проблемы. Раз у Вас простой видеохостинг, кто мешает дублировать видеофайлы на несколько серверов для обеспечения отказоустойчивости и вести распределённую базу?

Я не специалист по видеохостингу, но сразу приходит в голову, что разные файлы имеют разную популярность. Если использовать glusterfs, файлы на сервера ложатся непредсказуемо; если копировать, то можно реализовать алгоритм снижения нагрузки, располагая популярные файлы на разных серверах.

madoff
На сайте с 01.12.2009
Offline
235
#14
Pilat:
glusterfs сам будет точкой отказа, нужно будет иметь специалистов по нему чтобы решать проблемы. Раз у Вас простой видеохостинг, кто мешает дублировать видеофайлы на несколько серверов для обеспечения отказоустойчивости и вести распределённую базу?

Я не специалист по видеохостингу, но сразу приходит в голову, что разные файлы имеют разную популярность. Если использовать glusterfs, файлы на сервера ложатся непредсказуемо; если копировать, то можно реализовать алгоритм снижения нагрузки, располагая популярные файлы на разных серверах.

Нам надо не дублирования файлов.

Режим distribute DHT, распределяет файлы по подлежащим томам с помощью хеш-функции

допустим вышел из строя сервер 3, кластер не выйдет из строя и будет дальше продолжать работать, понятно часть файлов пропадет с каталога. Но что бы минимизировать потери мы и строим RAID 10.

Популярность файлов ? хорошо было замечено. Но забить 4G сервер одним популярным файлом я пока не представляю когда это случится, а если так настанет мы расширим сеть всю на 10G - и дисковую подсистему.

Коллеги. Сейчас речь о не большом проекте, спасибо что вы думаете за будущее, но о будущем мы позаботимся когда упремся :)

MIRhosting.com
На сайте с 18.10.2006
Offline
203
#15

Glusterfs пробовали в свое время (пару лет назад), больше не пробуем :) Может конечно что-то и поменялось с того времени, но тогда это было нереально медленно.

Главная проблема в том, что для отдачи каждого файла, предварительно проверяется что он не изменился на всех других серверах.

Вероятно есть схемы, при которых подобная технология будет нормально работать, но с хостингом такие задержки не реальны.

Я бы использовал что-нибудь из серии openstack

Андрей Нестеренко, MIRhosting Облачная платформа для DevOps (https://mirhosting.com/paas)
madoff
На сайте с 01.12.2009
Offline
235
#16
MIRhosting.com:
Glusterfs пробовали в свое время (пару лет назад), больше не пробуем :) Может конечно что-то и поменялось с того времени, но тогда это было нереально медленно.
Главная проблема в том, что для отдачи каждого файла, предварительно проверяется что он не изменился на всех других серверах.
Вероятно есть схемы, при которых подобная технология будет нормально работать, но с хостингом такие задержки не реальны.

Я бы использовал что-нибудь из серии openstack

зачем проверять файл, который не будет дублироваться на все сервера...режим distribute - option scheduler random or RR

Andreyka
На сайте с 19.02.2005
Offline
822
#17
madoff:


Ты мне уже надоел извини. Выдрать из тебя по букве я не буду, лишний флуд ты создашь в теме, собственно как и всегда.

Не извиню. Это форум, а ты сам пришел с вопросами.

pupseg
На сайте с 14.05.2010
Offline
339
#18

попробуй так:

haproxy + drbd, работало долгое время.

твоя схема тоже вполне дееспособна... а чо...

только горячий контент раздавал бы из памяти сначала.

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).
madoff
На сайте с 01.12.2009
Offline
235
#19
pupseg:
попробуй так:
haproxy + drbd, работало долгое время.
твоя схема тоже вполне дееспособна... а чо...
только горячий контент раздавал бы из памяти сначала.

Не подходит.

Andreyka
На сайте с 19.02.2005
Offline
822
#20

Там drbd тоже не нужен

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий