Vds4you.ru - отказоустойчивое облако VMWare, Москва

Как считали? Откуда инфа?

Давайте все же рассуждать здраво. Нельзя посчитать вероятность в лоб т.к. вероятность выхода из строя диска зависит от продолжительности и интенсивности его эксплуатации. Домашние диски не рассчитаны на высокие и продолжительные нагрузки. У них другая конструкция подшипников и виброгасящих и теплоотводящих технологий. Другой запас прочности элементов, другие прошивки и логика работы. Так же у энтерпрайзных дисков отключен кэш на запись для гарантии отсутствия потери данных из этого кэша. Режим работы в датацентрах существенно отличается от домашнего использования. Контроль влажности, температуры, чистоты воздуха. Так же не забываем, что 2.5" диски имеют большую механическую прочность из-за меньших размеров и массы узлов, а так же меньших диапазонов перемещений головок, меньших инерций, вибраций. Мелкие диски проще охлаждаются. То есть их механическая надежность существенно выше чем у дисков 3.5"

Итак, среднестатистический диск имеет порядка 2 миллиона часов наработки на отказ. Но цифра эта по сути дутая. 228 лет?! :) Даже не смешно. Правильные диски живут 5+ лет.

Давайте исходить из этого. Вероятность выхода из строя диска растет по экспоненциальной зависимости, то есть сначала плавно повышаясь со временем, и после 3.5-4 лет начинает резко возрастать, достигая к 5 годам весомых значений. Иными словами, если мы не будем дожидаться 5 лет, а заменим все диски через 3 года, то вероятность выхода среднестатистического диска из строя будет снижена в сотни раз.

Практика использования больших массивов подтверждает эти слова. Да, диски летят, но это редкость. Из сотни энтерпрайзных дисков 2.5" за 5 лет вылетает 0...4 штуки. Приблизительно. Это наша собственная статистика. То есть в максимально-среднем из 46 дисков за 5 лет помрет 2 штуки. Какова вероятность, что это будет зеркальная пара? Примерно 0.02 , правильно? Порядка 2%.

Теперь, ребилд идёт ну, пусть 2 часа. Какова вероятность , что за 5 лет второй диск вылетит именно в эти 2 часа? Считаем, получаем 0.00005, или 0.005%

И теперь считаем вероятность выхода "нужного" диска за эти 2 часа, перемножаем вероятности: 0.02*0.00005=0.000001 или 0.0001%

Иными словами, обеспечивается надежность в 99.9999 %

И это по вашему не надежно?!!!! Официально Dell дает отказоустойчивость своих систем хранения (конкретно MD3620i), на уровне 99.999%, то есть в 10 раз меньше вероятности гибели массива по причине дисков :) НА ПОРЯДОК!!!

И надо обмолвиться, что мы делаем допущение, что 1-й диск у нас гарантированно помрет, хотя такая вероятность на самом деле, сама по себе, составляет очень малую величину.

А теперь давайте прикинем отказоустойчивость обычного "сервера в хетзнере". Будем шокировать народ :) Обратимся только к дисковой системе из домашних дисков в зеркале.

Про UER (unrecoverable error rate) слышали? Сейчас озвучу.

Писать лень, поэтому копипаста:

UER (unrecoverable error rate). Означает вероятность появления невосстановимой ошибки чтения, по различным причинам: дефект поверхности, сбой в работе головки, контроллера и т.д. Для современных десктопных дисков значение UER составляет 1 x 10-14. Это означает, что при передаче 1 x 1014 бит вы с очень большой вероятностью прочитаете с диска вовсе не то, что туда записали. Дальше начинается занимательная математика, опубликованная в одном из докладов SNIA:
Диск объемом 500ГБ содержит 1/25 x 1014 бит. Допустим, у нас есть RAID-5 из шести таких десктопных дисков с UER равным 1 x 10-14. До определенного момента все работает хорошо, на дисках появляются и ремапятся сбойные сектора, к потере данных это не приводит, т.к. у нас RAID. И тут один из дисков выходит из строя. Меняем диск, начинается ребилд: c пяти дисков нужно считать страйпы и контрольные суммы, рассчитать и записать их на шестой диск.
Для пяти дисков вероятность получения невосстановимой ошибки чтения будет равна 1-(1-1/25)5=18.5%. 500ГБ по нынешним меркам - не очень много, в ходу диски по 1, 2, 3 и даже 4 терабайт. Для массива 8x1ГБ получаем 44.2%, а для "супер-большой-СХД-на-всю-жизнь" из 24-х десктопных дисков по 3ТБ получается шансов и вовсе не остается - 99.8%. Данную вероятность можно немного уменьшить, периодически запуская фоновую проверку целостности данных на массиве. Можно уменьшить ее значительно, на порядок, используя правильные диски nearline класса с UER = 1 x 10-15, но для больших массивов цифра получается все равно неприемлемой, ведь не учитывается вероятность полного выхода из строя второго диска во время ребилда, который при больших объемах и высокой нагрузке на массив может растянуться на несколько недель.

Источник: http://true-system.blogspot.ru/2013/04/mtbf-afr-uer-raid.html

И теперь сравниваем официальную вероятность возникновения ошибки чтения у разных типов дисков и отрезвляемся:

Значение UER

десктопные диски 1 x 10^-14

nearline класса 1 x 10^-15

enterprise класса 1 x 10^-16

От так дела, энтерпрайзные диск В СТО РАЗ надежнее десктопов по UER. А если учесть их малый размер, то по параметру UER Энтерпрайзы примерно в 300!!! раз надежнее. Жесть.

И как вам в этой статейке статистика выхода из строя десктопных дисков? 34%!!! (если правильно считать, там 42% получается, 34 это если просто сложить). Да это же даже не знаю как назвать!!! Сравниваем с энтерпрайзными (максимум 4%), получаем разницу в 8 раз!!! Отлично.

Теперь считаем вероятность смерти данных с зеркала из 2-х домашних дисков. Классический случай хетзнера и им подобных.

Считаем 1-й диск умершим, время ребилда составит (пусть 2 ТБ), порядка 8 часов. Ой, а у нас что, есть хотспэр диск? Да ладно :) Заметят отсутствие второго диска часов через 8 в лучше м случае, а заменят дня через 3. Итого 88 часов живем на 1 диске :)

вероятность смерти 2 диска за это время 0.0022, или 0.22%

А вот теперь сравниваем вероятность смерти массива из 46 Энтерпрайз дисков, о котором шла речь изначально, с классическим массивом из 2-х дисков десктоп уровня:

0.000001 против 0.0022 , или в 2200 раз. Это 3 порядка с +

Это космическая разница в надежности.

А теперь вспомним о том, что у нас есть проблема с UER, и мы тут имеем разницу в надежности в 300 раз!!!

Павел, вы действительно все еще считаете мое решение недостаточно надежным? Вы до сих пор думаете, что 2 SATA диска по 1-2 ТБ будут надежнее? Правда? :)

sladkydze, и не лень же было столько копирайтить ))

sladkydze, вам конкретно я ничего не хочу доказывать, мне это просто не интересно.

А вот форумчане должны видеть противовес маркетингу и красивым картинкам стораджей в виде технического обоснования, которое привел я.

Ну и ссылаться на то "что в Hetzner нет хороших дисков" откровенно глупо, особенно при том условии, что Hetzner уже почти год продает серверы Dell, в которых стоят ровно те же самые диски, что и в Вашей супер-пупер системе хранения: http://www.hetzner.de/hosting/produktmatrix/dell

Все что я хотел сказать, я сказал, всего доброго :)

Не-не-не, Дэвид Блейн. Вы заходите в нашу коммерческую тему и начинаете говорить, что наше решение не надежно. Само по себе это высказывание может напугать потенциального потребителя наших услуг. И теперь вы уже ничего не хотите доказывать (не хотите обосновать свои слова?!). Те расчеты, что вы предоставили, в корне неверные, и имеют своим основанием непонятные тезисы, взятые неизвестно откуда.

ИМХО, я очень чётко разжевал тему надежности с цифрами и ссылками, которые можно легко проверить. Где тут неправда?!

Ок, нормальные диски и СХД есть много у кого, но в Хетзнер за нормальными серверами не идут (они там далеко не копеечные). Туда идут за дешевыми решениями. Умные люди делают это с головой, когда такое решение по каким либо причинам оправдано. Не умные люди идут туда исключительно потому, что там дешево и не задумываются о надежности и аптайме.

Павел, бездоказательно что-то сказать в чужом заведении и пожелать всего доброго, ну, это как-то не красиво. Мягко говоря.

Еще раз, зачем вы начали всю эту беседу о ненадежности моего решения? Вы ведь были изначально неправы, и теперь сбегаете. Аяяй!

Я был не прав, что начал эту беседу в коммерческой теме, безусловно. Следовало бы ее вынести, скажем, в администрирование. Но давайте закончем, раз начали.

Вы в обсуждении метко сравниваете массивы из дешевых sata дисков с массивом из enterprise дисков (честно, я считаю этот термин чистым маркетингом, давйате говорить четко - с дисками sas 10/15.000). Мне искренее не понятно - зачем.

Я нигде не говорил, что массив из дешевых дисков при меньшем числе дисков будет надежнее массива из большего числа дорогих дисков - это нужно внимательно и кропотливо считать и скорее всего будет именно так как Вы говорите.

Речь идет исключительно о сравнении решений на базе дисков одинаковой надежности, а именно - массивов на Enterprise SAS дисках 10/15rpm с количеством дисков, например, 4 и 48. То, что решение при 48 дисках будет менее надежно - я доказал Выше. Также я указал во сколько раз.

Я не могу понять основного - с чем именно Вы не согласны? Вы нигде не сказали (ну кроме очевидного промаха с вычислением вероятности, где она вышла у вас аж 6), что мой тезис - некорректен.

Объясняю для чего я сравниваю. На этом форуме я не замечал представителей Сбербанка, Минфина, МО и других серьезных товарищей. Зато вижу потребителей Дедиков на i5, i7, или в лучшем случае Xeon 12xx с дисковыми системами а-ля софтрейд из 2-х SATA дисков. Я против этого ничего не имею, но факт есть факт. На этом ресурсе присутствуют потребители таких машин. И вы сдаете в аренду такие (я попробовал у вас на сайте выбрать SAS у дисков, и не нашел там ни одного такого предложения).

То есть данные машины есть некий "стандарт", к которому все привыкли. И никто не истерит по поводу их ненадежности и "ужас-ужаса".

Тут вы приходите в мою тему и начинаете говорить про ненадежность моей системы. ХМ, ок, я её сравниваю хотя бы с теми машинами, что предлагаете вы (типичный конфиг я выше описал). Вроде логично. Теперь понятно зачем я сравнивал с десктопными дисками?

Вы посчитали моё решение не надежным. При этом про машины 2хSATA вы такого не говорите. Логично ведь, что вы считаете 2хSATA надежнее моего решения? Именно этот тезис я и пытался развеять своими расчетами.

При прочих равных, если мы сравниваем отказоустойчивость 10-го массива из 46 дисков и из 2 таких же дисков, то вполне логично, что надежность массива из 2 дисков будет выше. Спора нет! :) А еще выше надежность у массива из ноль дисков. Там 100% ничего не сломается! :)

Как я уже говорил, помимо надежности (очень важного параметра), есть еще и такие вещи, как требование к объему и быстродействию. Мое решение сделать такую конфигурацию было основано на многих изначальных требованиях. Производительность даже 8 дисков неприемлемо мала для тех задач, которые я выполняю.

Опять же, надо учитывать, что сами по себе энтерпрайзные диски - это хорошо. Но они - лишь часть комплекса. Еще есть умная система хранения, которая ими грамостно распоряжается. Мониторит здоровте дисков и всего массива. Постоянно в фоновом режиме проверяет читабельность поверхности всех дисков массива. То есть если есть некие угрозы надежности, то СХД превентивно их обнаружит и устранит.

Дополнительно у СХД 2 головы работают в кластере и помимо повышения производительности, еще и обеспечивают отказоустойчивость. Готовы эти можно на ходу перепрошивать, менять и т.д. То есть если вдруг одна голова зависнет или помрет, то ничего не упадет. Так что нельзя зацикливаться на одних лишь дисках, надо смотреть на надежность всего комплекса.

Конечно же я так не считаю, где я про это сказал хотя бы раз? Даже слова SATA ни разу не произносил. Речь велась исключительно о теории хранения данных и я вижу Вы тут со мной согласны.

Но в целом решение на SATA RAID-1 показывает себя с очень хорошй стороны при условии постоянного и тщательного мониторина с оперативной заменой.

Безусловно, от обвязки системы хранения зависит очень многое, тут спорить бессмысленно. Я рад, что все уладилось и был найден консенсус =)

Рекомендую селлера как человека 100% адекватного и обязательного. Все обещанное исполняет от и до. Качество услуг, в соотношении цена/качество - на достойно высоком уровне!

Дабы отзыв был объективен, подолью ложку дегтя. Человек, видимо, занятой, поэтому время ответа может затянуться. Но это не критично, и на фоне общей картины не является значимым

Работаем, рекомендую:)