ZFS (FreeBSD 8.2) и аппаратный RAID

12
Mage1
На сайте с 05.07.2007
Offline
83
5149

Собираюсь переезжать на новый сервер (Hetzner EQ10 с 4 x 300 GB SAS HDD и 4-Port Hardware-RAID Controller). Раздумываю о том, какую файловую систему использовать (OS FreeBSD 8.2) - ZFS или родную UFS2. Переезд собственно обусловлен медленной работой дисковой подсистемы. На предыдущем сервере использовалась ZFS, объединяя 3 SATA диска в RAIDZ массив. На новом сервере в этом необходимости нет, т.к. аппаратный RAID выдаст один диск (хочу использовать RAID 10). Второй важной для меня возможностью ZFS является ARC-cache, которому хочу отдать значительный объем оперативной памяти для кеширования файлов. Что скажете, можно подумать, что в этом случае ZFS будет использоваться только как эдакая кеширующая надстройка над аппаратным RAID-ом, не является ли это overkill (перебором)? Есть ли какие-то еще "подводные камни"? Есть ли возможность организовать похожий кэш на UFS2 (без особой мороки)?

[umka]
На сайте с 25.05.2008
Offline
456
#1

4 SAS-а (если они 10-15k) в Raid-10 будут оччень шустро работать по сравнению с SATA-ми в программном рейде.

А в аппаратном рейде кеша нет разве? Если есть, то дополнительно лучше ничего не громоздить.

Лог в помощь!
Himiko
На сайте с 28.08.2008
Offline
560
#2

Соглашусь с [umka].

Если нормальный RAID-контроллер, то разница RAID-10 на SAS с программным RAID на SATA будет достаточно большая.

Профессиональное администрирование серверов (https://systemintegra.ru). Круглосуточно. Отзывы (/ru/forum/834230) Лицензии (http://clck.ru/Qhf5) ISPManager,VDSManager,Billmanager e.t.c. по низким ценам.
Mage1
На сайте с 05.07.2007
Offline
83
#3
'[umka:
;8749998']А в аппаратном рейде кеша нет разве? Если есть, то дополнительно лучше ничего не громоздить.

ну я говорил о кеше в несколько гигабайт...

Pavel.Odintsov
На сайте с 13.05.2009
Offline
169
#4

Ставьте 4 SAS в RAID-10 на Adaptec 5405 и ufs2. Ничего быстрее на оборудовании Hetzner сделать не получится.

Решение по обнаружению DDoS атак для хостинг компаний, дата центров и операторов связи: FastNetMon (https://fastnetmon.com)
Mage1
На сайте с 05.07.2007
Offline
83
#5
Pavel.Odintsov:
Ставьте 4 SAS в RAID-10 на Adaptec 5405 и ufs2. Ничего быстрее на оборудовании Hetzner сделать не получится.

Спасибо, хотя вы так построили фразу, как будто там в принципе ничего быстрого сделать нельзя, а этот вариант - от безысходности :)

iamsens
На сайте с 26.08.2009
Offline
115
#6
Mage1:
Собираюсь переезжать на новый сервер (Hetzner EQ10 с 4 x 300 GB SAS HDD и 4-Port Hardware-RAID Controller). Раздумываю о том, какую файловую систему использовать (OS FreeBSD 8.2) - ZFS или родную UFS2. Переезд собственно обусловлен медленной работой дисковой подсистемы. На предыдущем сервере использовалась ZFS, объединяя 3 SATA диска в RAIDZ массив. На новом сервере в этом необходимости нет, т.к. аппаратный RAID выдаст один диск (хочу использовать RAID 10). Второй важной для меня возможностью ZFS является ARC-cache, которому хочу отдать значительный объем оперативной памяти для кеширования файлов. Что скажете, можно подумать, что в этом случае ZFS будет использоваться только как эдакая кеширующая надстройка над аппаратным RAID-ом, не является ли это overkill (перебором)? Есть ли какие-то еще "подводные камни"? Есть ли возможность организовать похожий кэш на UFS2 (без особой мороки)?

интересно ФС работает медленно на чтение или на запись?

юфс2 - тоже хорошая ФС, но у неё есть слабые места и если их обходить, то всё работает достаточно шустро

кстати какая модель аппаратного рейда? иногда лучше использовать софтовый рейд

есть разные способы оптимизации работы дисков, но нужно знать конкретные задачи )

ENELIS
На сайте с 29.08.2008
Offline
194
#7

Попробуйте 2 диска в 0 и 2 райда в zfs mirror. Работать будет быстрее (выходит кеш райда+кеш и оптимизации zfs, т.к. она райды свои делает не на уровне блоков, а на уровне данных), плюс хэши, снапшоты, лимиты, архивирование из zfs.

Где-то читал про zfs для БСД с поддержкой дедубликации, с ней вообще красота выходит.

С Уважением, ServerAstra.ru (https://serverastra.com) - VPS и выделенные сервера в Будапеште по выгодным ценам!
iamsens
На сайте с 26.08.2009
Offline
115
#8
ENELIS:
Попробуйте 2 диска в 0 и 2 райда в zfs mirror. Работать будет быстрее (выходит кеш райда+кеш и оптимизации zfs, т.к. она райды свои делает не на уровне блоков, а на уровне данных), плюс хэши, снапшоты, лимиты, архивирование из zfs.
Где-то читал про zfs для БСД с поддержкой дедубликации, с ней вообще красота выходит.

а в продакшене зфс использовали? то как ?

Mage1
На сайте с 05.07.2007
Offline
83
#9
iamsens:
интересно ФС работает медленно на чтение или на запись?

больше всего загружена чтением, более 2 млн. мелких файлов отдает, соответственно и меряю я скорость чтения, запись происходит относительно редко.

iamsens:

кстати какая модель аппаратного рейда? иногда лучше использовать софтовый рейд

Итак, контроллер Adaptec 5405, винты Seagate CHEETAH ST3300657SS

Mage1 добавил 05.04.2011 в 11:15

ENELIS:
Попробуйте 2 диска в 0 и 2 райда в zfs mirror. Работать будет быстрее (выходит кеш райда+кеш и оптимизации zfs, т.к. она райды свои делает не на уровне блоков, а на уровне данных), плюс хэши, снапшоты, лимиты, архивирование из zfs.

Надо подумать над этим вариантом. А контроллеры поддерживают такую опцию - из четырех дисков сделать два страйпа?

P
На сайте с 06.05.2010
Offline
24
#10

Надо понять, рейд там всё-таки полноценный или простой HBA. Если полноценный - обычно они не отдают диски "просто так" и придется делать на каждый диск зеркало из 1 диска например.

Про то, что софт зеркала медленные - информация 10+ летней давности. Сейчас они сопоставимы (на одних и тех же дисках). И для веб-сервера, где 90% чтение, аппаратный практически неактуален. К тому же, zfs сделан так, что "транзакция выполнена полностью или не выполнена вообще", так что в BBU в данном случае смысла нет.

Более того, полностью аппаратный рейд без батарейки может быть на записи медленнее на порядок за счет того, что любая операция записи ждет завершения, блокируя другие операции.

cache это хорошо, но требуется отдельный диск, причем рекомендуется SLC SSD, которых в хецнере нет (у меня там тоже есть несколько проектов). Более того, больше 4 дисков поставить невозможно. Про кэш в памяти не скажу, особо не мерял.

Вот будет ли быстрее 2 диска в зеркале, 2 в кэше или просто 10 - не знаю. Надо проверять.

А вообще, "более 2 млн. мелких файлов" - напрашивается SSD. Как вариант - 2 сас и 2 ssd, 2 зеркала.

И еще. Для zfs, на которую пишут, имеет смысл ставить SSD на журнал транзакций (тип устройства log). Для веба актуальнее тип устройства cache


Devices can be added to a storage pool as "cache devices." These
devices provide an additional layer of caching between main memory and
disk. For read-heavy workloads, where the working set size is much
larger than what can be cached in main memory, using cache devices
allow much more of this working set to be served from low latency
media. Using cache devices provides the greatest performance improve-
ment for random read-workloads of mostly static content.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий