Cloudmouse.com виртуальные сервера от 5$

Видимо мой ответ выбился из алгоритма троль-бота :)

На мышах было несколько проектов (клиентов)... хорошо, что бэкапы были, правда за ноябрь только... пришлось восстанавливать (( сейчас вот думаю куда переходить, DO, CF, - не внушают доверия...

ладно, сдох так сдох. Подскажите пожалуйста, как тот бэкап, что они дают, под виндой распаковать

Можете ко мне.

Не пожалеете ☝

Все хорошо и печально.

А в каком он формате?

по всей видимости это имидж впса

Попробую предположить, что могло произойти.

Изначально, тестирование облака происходило на 3-5 серверах, и все работало нормально.

Потом, оно стало разрастаться и в какой то момент, уперлось в размер одного коммутатора.

Поскольку 1G, для организации облака уже не достаточно, то внутренняя сеть собиралась на 10G. Недорогие (до 1 миллиона рублей), коммутаторы 10G бывают только до 40-48 портов.

Коммутационной матрицы такого свитча вполне хватит для работы такого мини-облака.

Это будет работать, пока вы не решите выйти на за пределы одного коммутатора.

Потом, нужно подключать второй к первому, их, нужно как-то линковать друг с другом.

Выделяем для этого, 1 из портов 10G на каждом коммутаторе и начинаем забивать вторую стойку.

В какой-то момент, когда во второй стойке набирается критическая масса серверов и линк 10G забивается в полку, получаем рассинхронизацию ceph и ловим, что то типа splitbrain. Даже двух линков по 10G, может не хватить.

По нормальному, коммутаторы 10G должны иметь 2-4 аплинка 40G или 1 линк на 100G которые собираются в агрегирующую ферму размером с холодильник и имеющую на борту вагончик линков 40-100G. Думаю, не нужно объяснять сколько будет стоить такая железка. Да и коммутаторы с аплинками на 40-100G это будут сильно за 1 лям стоить.

Таким образом, правильней, мышам было бы собирать несколько маленьких тучек размером с одну стойку, которые работали бы независимо. В этом случае, с их ценами, еще можно было бы, хоть как-то, выйти на рентабельность. Но, судя по всему, проект не учитывал этот момент роста и панель не была рассчитана на работу с несколькими мини-облаками.

А необходимость агрегации стоек по высокоскоростным аплинкам, в разы удорожает себестоимость системы. По скольку, таких агрегаторов должно быть два и каждая стойка должна агрегироваться в каждый из них, а агрегаторы должны иметь резервные линки друг с другом настроенные по STP.

В идеале, облако должно полностью резервироваться в другом ДЦ.

Плюс, резервное копирование на отдельное СХД. Которое никак не связанно с облаком.

Также, если мы хотим получить полную отдачу от SSD дисков, скорость сети должна быть никак не меньше скорости работы шины сервера. Получается, минимум 2 порта по 10G на 1U сервер с 4 дисками (1 SSD - 500 Мбайт/с = 4Гбит/с * 4 SSD = 16 Гбит/с). В 48-портовый коммутатор можно воткнуть только 24 1U сервера.

--------------------------

Итог, собрать качественное облако в сегменте лоукост, практически, не реально. Или это будет дорого или будет много точек отказа и отсутствие возможности серьезного масштабирования.

Отсутствие проработки масштабирования на этапе проектирования привело к фатальным последствиям. Просто не подумали, какого объема может достичь внутренний трафик при росте количества серверов. Хотя, нужно было просто умножить 16G на количество планируемых в облаке серверов. Думаю, забыли посчитать множитель. Нужно еще учесть, что при ceph, каждый блок данных, хранится в трех местах, соответственно, операции записи утраивают внутрисетевой трафик. Любое облако имеет конечный размер и этот размер должен быть учтен на этапе проектирования. Да, облако можно расширять, но этапы расширения, тоже должны быть заложены в проект.

Все выше написанное, мое ИМХО. Я сделал его, на основе косвенных и обрывочных сведений о характере произошедших фейлов и времени, в которое они произошли. Могу в чем то ошибаться. Но основываясь на своем опыте, смею предположить, что верно угадал причины фейлов.

Надеюсь, если мыши будут делать ребрендинг, они учтут все это и будут собирать более отказоустойчивое облако, однако, сохранение ценовой политики на прежнем уровне, в данном случае, видится маловероятным.

А оно было "облако"?

Ну, была попытка его организовать. Если бы его не было, то не кончилось бы все так фатально.