Бюджетный кластер на Linux'e

Всё ниже моё ИМХО. На эту тему можно дискутировать долго.

Вкратце - без внешнего хранилища это можно сделать только если есть на постоянную работу грамотный администратор. Судя по всему, уровнем несколько выше форумных админов... Путь тупиковый, если речь не идёт о большом проекте. ПО бесплатное, админ очень даже платный. Это будет ориентированный конкретно на Вашу задачу кластер. Думаю, что первые кластеры хостеры именно так и делали. Выделить mysql серверы в отдельную группу, как-то их синхронизировать. Файловые системы либо реплицировать время от времени полностью, либо копировать только пользовательские данные - потери будут, без потерь будут с кластерными файловыми системами но с ними тоже непросто да и небесплатно. Если серверов много, в конце концов придётся разбивать их на отказоустойчивые группы... в общем задача сложная и не очень надёжная без постоянного обслуживания.

Сейчас кластеры развиваются в сторону модного слова "облако". С внешним хранилищем это сделать уже проще - XenServer (платный) , например, обеспечит почти из коробки отказоустойчивость, причём будет решение с одной стороны простое и шаблонное, с другой стороны надо будет всё же очень хорошо понять что же получается и где ждать подводные камни. Но это уже не столько сложно в плане администраторском, сколько в финансовом - системы хранения, тем более с отказоустойчивость, стоят дорого. Можно сделать самодельную iSCSI систему за копейки, но о её надёжности говорить всерьёз нельзя.

Вообще есть, конечно, Xen Cloud - и там требования прописаны, тоже не бюджетно.

Требования надо бы привести в нормальный вид без фантастики (внешне это должно быть в виде одной единой машины - это фантастика).

Про стоимость никто не скажет без описания задачи - 2 сервера это одно, 3 сервера это другое, а линейный апгрейт - это уже совсем другая задача.

Вкратце - не надо так делать и мечтать о линейном масштабировании тоже не стоит :) Просто делайте максимально децентрализованную архитектуру (все-все-все на одной машине), а уж если будет реально_не_хватать, то всегда можно смасштабироваться дальше. Но вот "не хватать" в 99% случаев не наступает, поэтому тут лучше придерживаться вечного "лучшее враг хорошего" и сделать "хорошо" без лишнего идеализма.

Поймите правильно, сразу мешка денег нету, но хочется заранее заложить правильную основу для Shared хостинга. Думаю кластер это и есть решение и так поступают все серьезные провайдеры которые предоставляют подобную услугу. А не очень серьезные - просто предоставляют shared на одном сервере (или на нескольких независимых друг от друга), в лучшем случае там на них есть RAID1. Хочется сразу пойти по правильному пути — делать кластер, пусть даже не большой.

Какое-то внешнее хранилище скорее всего будет. Ну тот же iSCSI на крайний случай.

На сколько нужно смотреть в сторону облака я не знаю. С одной стороны интересно вирт. сервера предоставлять, с другой стороны это не входило в планы изначально. На сколько я понял сам XEN бесплатный, а решение от Citrix для облаков на базе XEN как раз платное. Опять же смотрел цены, прайс начинается от 1000$ за самую простую версию. 1000$ в принципе сумма подъемная :) Опять же если бы кто проконсультировал по этому Citrix Xen Cloud.

Слышал что решение от Citrix не панацея, и вполне можно обойтись. Да и Citrix Xen Server есть бесплатный, что там с него в итоге может получится пока полностью для себя не прояснил.

Внешне всмысле для клиента и желательно администратора (с некоторыми поправками под кластерность разумеется.) Физически то понятно что это несколько машин.

Я имею ввиду чисто функционально, работают 2 БД сервера, они используют одно SCSI хранилише. "С виду" то я не должен заморачиваться, сколько у меня штук дублирующих БД серверов — для конечного пользователя у него это вообще один сервер.

Давайте хотябы пока поставим цель этого топика, выяснить какие есть решения и сколько они примерно стоят.

Ну например уже знаем, что Citrix Xen Cloud 1000-5000$. Штука специально заточена под это дело, имеет кое какие свои требование (все ноды одинаковые) и в принципе проста в разворачивании и использовании.

Что касается не облака, а просто кластера, на ум приходит ещё ISPmanager Cluster

штука не адекватно дорогая :) (1900 евро за вечную) по ней маловато информации, ну и зная качество продуктов ISP — не хочется с ними связываться.

Слышал про PelicanHPC он на базе Debian, бесплатный. На сколько он подходит для Web'a и предоставления шаред хостинга — не понятно, инфы мало.

hacccker добавил 01.12.2010 в 05:22

Всмысле как так? :) Про линейное разумеется не мечтаю. Кстати к вам будет много вопросов, но то я уже в тикеты вам позже напишу :)

... ломают друг дугу таблицы. Так работать не будет. Но пример понятен.

Либо нанимать дорогого админа, либо покупать дорогой ISPmanager Cluster.

И нанимать дорогого админа =)

Я смогу сделать это. По цене - дешевле, чем лицензия на цитрикси или исп. Потребуется минимум 2 сервера. Хранилище не нужно.

Контакты в профиле.

"бюджетный" и "кластер", слова малосовместимые. хочу сразу дать совет, не надо придумывать облака, кластеры и т.д. , это будет менее эффективно чем 2 более слабых отдельных сервера. Все уже придумано за Вас, темболее для шаред хостинга,

Те кто думают куплю мега-супер-сервер(кластер) и запихну на него свою тыщу сайтов и всё будет работать "Офигенно", это ж супер-мега-сервер, "как может быть по-другому?", очень часто рвут на себе волосы, когда ихнее железо лежит...по-разным причинам.

Но если Вам всё таки хочется делать именно "кластер" и идти этой дорогой, есть неплохой пример с хабра, сорри с ходу не смог найти топик, помню там всё было интересно расписано

iamsens добавил 01.12.2010 в 23:11

вот, линк, к сожалению на хабре статьи уже нету...

iamsens, спасибо за ссылку на мою статью. Надеюсь, что ТС сделает верный выбор.

да, пожалуйста!

и респект за интересную статью =)