Pavel.Odintsov

Pavel.Odintsov
Рейтинг
169
Регистрация
13.05.2009

kxk 😎

Жалко, кстати, что нет какой-нить быстрой-быстрой энергонезависимой памяти (типа кристаллов ZMC у Adaptec), чтобы прицепить ее для кэша софт рейда. Хотя, боюсь, в Linux с его страничным кэшем такое фиг интегрируешь.

Использовать RAID-1 стоит однозначно. Вопрос только в том, программный или аппаратный.

Но для того, что бы сравнивать надо хотя бы понять, какую ОС использует ТС?

В венде софтварный RAID - ужасен, во FreeBSD/Linux - немного лучше.

Но при любом раскладе если данные критичны и перезагрузка по питанию/сбою ядра возможна, а потеря даже 10-20 строк в таблицах - чревата проблемами с деньгами - ВАМ ОДНОЗНАЧНО НУЖЕН АППАРАТНЫЙ РЕЙД С БАТАРЕЙКОЙ.

Ибо что софтварный рейд, что аппаратный без батарейки, при перезагрузке могут потерять несколько сот мегабайт данных, которые будут потеряны безвозвратно.

Алсо, в данном случае от аппаратного рейда будет польза в первую очередь из-за кэша с батарейкой.

---------- Добавлено 09.09.2014 в 16:45 ----------

extra:
Недавно настраивали RAID из 24x SSD, контроллер сам рекомендовал отключить кэш...

Кэш на дисках или кэш контроллера? Дисковый кэш отключает сам по себе почти любой серьезный RAID контроллер.

Подтверждаем, сбой на бэкбоне между ДЦ.

Вы посчитали моё решение не надежным. При этом про машины 2хSATA вы такого не говорите. Логично ведь, что вы считаете 2хSATA надежнее моего решения?

Конечно же я так не считаю, где я про это сказал хотя бы раз? Даже слова SATA ни разу не произносил. Речь велась исключительно о теории хранения данных и я вижу Вы тут со мной согласны.

Но в целом решение на SATA RAID-1 показывает себя с очень хорошй стороны при условии постоянного и тщательного мониторина с оперативной заменой.

Безусловно, от обвязки системы хранения зависит очень многое, тут спорить бессмысленно. Я рад, что все уладилось и был найден консенсус =)

Я был не прав, что начал эту беседу в коммерческой теме, безусловно. Следовало бы ее вынести, скажем, в администрирование. Но давайте закончем, раз начали.

Вы в обсуждении метко сравниваете массивы из дешевых sata дисков с массивом из enterprise дисков (честно, я считаю этот термин чистым маркетингом, давйате говорить четко - с дисками sas 10/15.000). Мне искренее не понятно - зачем.

Я нигде не говорил, что массив из дешевых дисков при меньшем числе дисков будет надежнее массива из большего числа дорогих дисков - это нужно внимательно и кропотливо считать и скорее всего будет именно так как Вы говорите.

Речь идет исключительно о сравнении решений на базе дисков одинаковой надежности, а именно - массивов на Enterprise SAS дисках 10/15rpm с количеством дисков, например, 4 и 48. То, что решение при 48 дисках будет менее надежно - я доказал Выше. Также я указал во сколько раз.

Я не могу понять основного - с чем именно Вы не согласны? Вы нигде не сказали (ну кроме очевидного промаха с вычислением вероятности, где она вышла у вас аж 6), что мой тезис - некорректен.

sladkydze, вам конкретно я ничего не хочу доказывать, мне это просто не интересно.

А вот форумчане должны видеть противовес маркетингу и красивым картинкам стораджей в виде технического обоснования, которое привел я.

Ну и ссылаться на то "что в Hetzner нет хороших дисков" откровенно глупо, особенно при том условии, что Hetzner уже почти год продает серверы Dell, в которых стоят ровно те же самые диски, что и в Вашей супер-пупер системе хранения: http://www.hetzner.de/hosting/produktmatrix/dell

Все что я хотел сказать, я сказал, всего доброго :)

sladkydze, про математику и точность расчетов я уточнил Выше. Клиенты за исключением, пожалуй, 1 на несколько тысяч вряд ли могут оценить опасность такой конфигурации RAID. Моя цель была предостеречь их от опасности и отдавать отчет - насколько ценны их данные.

Конкретной цели опрочить услуги - я не имею, это было просто интересным challenge - посидеть с математиками и обосновать вещи, которые набил практикой, но в твердой форме. Расчеты выше проведены буквально сегодня в районе 12 часов по причине, что такой информации в сети не нагуглить :)

Stay tuned :)

---------- Добавлено 04.09.2014 в 22:53 ----------

sladkydze, почитайте формулу Выше, там указано упрощение формулы.

А именно:

множитель (1 - p^2)^23 отбрасываем по тем же соображениям

Такое сокращение уместно в случае очень малых величин.

Как пример, мы считали вероятность вылета 1 диска как: p = 0.00001.

Но если хотите, подставляю в формулу без упрощений за Вас 0.5:

24 * 0.5^2 * (1 - 0.5^2)^23 = 0.008

Стоплы математики соблюдены, вероятность не больше единицы. Но, повторюсь, эти цифры ничего не говорят :)

klamas:
Pavel.Odintsov, вы "посчитали" не вероятность потери всего массива, а скорее вероятность потери одного диска.
Для расчета вероятности вылета всего массива надо в степень, вроде как)

В степень надо в случае, если бы мы считали относительно вероятности вылета одного диска и потом следом второго из того же зеркало, но в данном случае сама по себе вероятность в цифрах не считается и смысла ее указывать здесь нету. Была цель показать изменение надежности относительно "эталонной надежности" заведомо надежной конфигурации (4х дисковый RAID-10).

Но я могу привести цитату преподающего в вузе математика (указанного выше в P.S.):

рейд-0 поверх рейдов-1 можно рассматривать как рейд-0 поверх дисков, имеющих вероятность выхода из строя p1. тогда вероятность выхода из строя одного из таких виртуальных дисков = C(24,1)*p1*(1-p1)^23 = 24 * p^2 * (1 - p^2)^23. множитель (1 - p^2)^23 отбрасываем по тем же соображениям. также пренебрегаем тем обстоятельством, что может выйти из строя не 2, а большее число дисков, т.к. вероятность выхода из строя более чем 2х дисков мала по сравнению с вероятностью выхода из строя 2х дисков ровно. итого: вероятность выхода из строя рейд-0, собранного поверх 24х зеркал = 24 * p^2

Я бы добавил главу в раздел (а лучше - это высечь на камне) мораль несколько крайне простых рассуждений.

Допустим, вероятность отказа жесткого диска - это p, тогда в случае RAID-0 (страйп) вероятность отказа - 2*p (увеличивается вдвое, что логично). Допустим, мы увеличиваем наш страйп до 3х дисков и вероятность потери данных увеличивается линейно - в 3 раза. То есть для страйпа из N дисков вероятность отказа считается по формуле: N*p.

А теперь давайте рассмотрим типовой случай RAID-10 из 4х дисков (к слову, который правда безопасен для данных) и возьмем его вероятность отказа как p1. То, что в такой конфигурации RAID-10 безопасен, быстр и надежен - подтверждается гуглением по сотне сайтов.

А теперь давайте подумаем, что произойдет, если число дисков в RAID-10 увеличить с 4 до 8? Правильно, мы можем использовать те же самые рассуждения, вероятность отказа массива взлетит вдвое: до 2*p1.

А что если число дисков увеличить аж до 48? Да тот же линейный закон - вероятность отказа достигнет 12 * p1.

Друзья, Вы вдумайтесь!!! Вероятность отказа взлетит в 12 раз. В точных цифрах вероятность отказа диска выразить сложно, но для простоты объяснений, давайте возьмем, например, 1% вероятность отказа 4х дискового RAID-10.

1% это довольно много, но все же можно сказать, что данные скорее не потеряются, чем потеряются и за них можно быть довольно спокойными.

А вот в случае ТС вероятность потерять все 22 терабайта (я верно посчитал, да?) данных достигает сумасшедших 12%.

Каждый решает сам, допустимы ли такие вероятности потери данных, я просто даю пищу для размышлений.

P.S. за помощь с математикой спасибо GrayCat и dekl.

Ок, я могу переформулировать. Ваши данные под угрозой, сегласны ли Вы с этим или нет. Чтобы совсем просто сформулировать представьте Ваш массив как состоящий из 24х "блоков" (я говорю про отдельные зерказа), каждый из которых может отказать и утащит в ад все данные следом за собой, ВООБЩЕ ВСЕ.

Требования надежности и скорости можно легко соблюсти, если собрать 2-4 массива на базе этого монстра.

Всего: 1955