SAS vs. SSD, Сравнительные тесты дисковых подсистем.

LineHost, я сертифицированный специалист по VMWare, думаете я не знаю как и что делать? :) То, что расписано о проблемах вари, в частности пишу и я (по сути являюсь тестером)

Народ, ну я не оспариваю тот факт что с рейдом SSD хуже. Завтра выложу тесты без hw рейда: sw raid, 1 ssd.

Просто мерятся чистой теорией не интересно. Вот собрал hw рейд - показал результат и теперь все ясно (по hw рейду).

Вы оттестировали Ваш кеш RAIDа и его общение с SSD и SAS дисками (без поддержки в фирмваре будет тухлым), во-вторых 128 гбшный немного ограничен по спекам по отношению к 256 и 512 гигов (так все производители ограничивают, 64 вообще в половину 128 работают обычно).

Сейчас будет возможность потестировать ZFS райд 1 с двумя обычными ссд, попробую сделать.

Тесты с дд опущу, т.к. FreeBSD dd не поддерживает conv=fdatasync|fsync

ENELIS, выполнение sql-запросов это никак не может быть кэшем SmartArray. Но то что рейд ограничил возможности SSD это факт.

SQL магическе обошел рейд?

У Вас диск подключен через рейд?

ENELIS, прочитайте еще раз мой пост.

---------- Добавлено 06.10.2013 в 20:18 ----------

SQL, как и все прочее ограничено рейдом. Но кэш тут ни при чем. Запросы все разные, откуда кэш то? ))

Как и обещал ранее провожу второй этап тестирования. Напоминаю, что изначально использовались две дисковых системы:

• 2x SAS 300Gb SEAGATE ST3300657SS | Hardware RAID1 HP SmartArrayP410
• 2x SSD 128Gb Samsung 840 Pro | Hardware RAID1 HP SmartArrayP410

Произвел реконфигурацию этих двух машин и добавил еще две от другого производителя SSD, ну и для сравнения SATA:

• 4x SAS 300Gb SEAGATE ST3300657SS | Hardware RAID10 HP SmartArrayP410
• 2x SSD 128Gb Samsung 840 Pro | Software RAID1
• 2x SSD 128Gb INTEL SSDSA2M120 | Hardware RAID1 SAS1068E PCI-Express Fusion-MPT SAS
• 2x SSD 128Gb INTEL SSDSA2M120 | Software RAID1
• 2x SATA 2000Gb 7200 rpm | Software RAID1

После того как количество тестируемых машин увеличилось сразу стало понятно что большинство проведенных тестов совершенно непригодны - не отображают совершенно ничего, не смотря на то что кое-кто в этом топике был уверен в обратном.

Тест 1

dd if=/dev/zero of=testfile bs=512 count=16k conv=fdatasync

• 98,9 MB/s
• 35,7 MB/s
• 67,9 MB/c
• 69,1 MB/c
• 15,3 MB/s

Тест 2

echo 3 > /proc/sys/vm/drop_caches

dd if=testfile of=/dev/null bs=512

• 157 MB/s
• 196 MB/s
• 260 MB/c
• 260 MB/c
• 6,6 MB/s

=======================

Тест 3

Создание файлов

Операций (записи/всего): 25600/25700

Записано/всего: 100Mb/100Mb

• 132 Mb/sec | 34035 Requests/sec
• 122 Mb/sec | 31430 Requests/sec
• 44 Mb/sec | 11404 Requests/sec
• 25 Mb/sec | 6337 Requests/sec
• не тестировалось

Тест 4

Перезапись файлов

Операций (записи/всего): 25600/25700

Записано/всего: 100Mb/100Mb

• 139 Mb/sec | 35619 Requests/sec
• 96 Mb/sec | 24593 Requests/sec
• 25 Mb/sec | 6514 Requests/sec
• 40 Mb/sec | 10268 Requests/sec
• не тестировалось

Тест 5

Чтение файлов

Операций (чтения/всего): 25600/25600

Прочитано/всего: 100Mb/100Mb

• 2048 Mb/sec | 524345 Requests/sec
• 1907 Mb/sec | 488241 Requests/sec
• 6721 Mb/sec | 1720651 Requests/sec
• 6853 Mb/sec | 1754387 Requests/sec
• не тестировалось

Тест 6

Рандомное чтение файлов

Операций (чтения/всего): 10433/10433

Прочитано/всего: 41Mb/41Mb

• 1569 Mb/sec | 401629 Requests/sec
• 1610 Mb/sec | 412368 Requests/sec
• 6215 Mb/sec | 1591068 Requests/sec
• 6446 Mb/sec | 1650282 Requests/sec
• не тестировалось

Тест 7

Рандомная запись файлов

Операций (записи/всего): 10103/19418

Записано/всего: 39Mb/39Mb

• 99 Mb/sec | 25462 Requests/sec
• 74 Mb/sec | 18945 Requests/sec
• 6 Mb/sec | 1431 Requests/sec
• 8 Mb/sec | 2107 Requests/sec
• не тестировалось

Тест 8

Комбинированная рандомная запись и рандомное чтение файлов

Операций (чтения/записи/всего): 6135/4088/19492

Прочитано/записано/всего: 24Mb/16Mb/40Mb

• 190 Mb/sec | 48822 Requests/sec
• 121 Mb/sec | 31101 Requests/sec
• 7 Mb/sec | 1763 Requests/sec
• 13 Mb/sec | 3339 Requests/sec
• не тестировалось

============================

Увеличим число файлов при том же объеме данных.

Тест 9

Создание файлов

Операций (записи/всего): 262144/263168

Записано/всего: 1024Mb/1024Mb

• 112 Mb/sec | 31313 Requests/sec
• 41 Mb/sec | 10554 Requests/sec
• 47 Mb/sec | 12000 Requests/sec
• 35 Mb/sec | 8966 Requests/sec
• 37 Mb/sec | 9616 Requests/sec

Тест 10

Перезапись файлов

Операций (записи/всего): 262144/263168

Записано/всего: 1024Mb/1024Mb

• 140 Mb/sec | 35872 Requests/sec
• 52 Mb/sec | 13322 Requests/sec
• 35 Mb/sec | 8910 Requests/sec
• 37 Mb/sec | 9543 Requests/sec
• 34 Mb/sec | 8807 Requests/sec

Тест 11

Чтение файлов

Операций (чтения/всего): 25600/25600

Прочитано/всего: 100Mb/100Mb

• 2048 Mb/sec | 524345 Requests/sec
• 2547 Mb/sec | 652161 Requests/sec
• 7300 Mb/sec | 1868962 Requests/sec
• 7404 Mb/sec | 1895442 Requests/sec
• 2788 Mb/sec | 713646 Requests/sec

Тест 12

Рандомное чтение файлов

Операций (чтения/всего): 10433/10433

Прочитано/всего: 41Mb/41Mb

• 1569 Mb/sec | 401629 Requests/sec
• 1330 Mb/sec | 340608 Requests/sec
• 4646 Mb/sec | 1189327 Requests/sec
• 4559 Mb/sec | 1167172 Requests/sec
• 2151 Mb/sec | 550594 Requests/sec

Тест 13

Рандомная запись файлов

Операций (записи/всего): 10103/19418

Записано/всего: 39Mb/39Mb

• 99 Mb/sec | 25462 Requests/sec
• 22 Mb/sec | 5519 Requests/sec
• 8 Mb/sec | 1946 Requests/sec
• 14 Mb/sec | 3659 Requests/sec
• 108 Kb/sec | 27 Requests/sec

Тест 14

Комбинированная рандомная запись и рандомное чтение файлов

Операций (чтения/записи/всего): 6135/4088/19492

Прочитано/записано/всего: 24Mb/16Mb/40Mb

• 190 Mb/sec | 48822 Requests/sec
• 44 Mb/sec | 11235 Requests/sec
• 12 Mb/sec | 2933 Requests/sec
• 20 Mb/sec | 5048 Requests/sec
• 194 Kb/sec | 48 Requests/sec

=================================

И немного из практики. Многие утверждают что на SSD можно выполнять резервное копирование баз данных MySQL хоть каждый час. Вот данные:

Тест 15

time mysqldump --all-databases > mysql.sql

• real 1m53.764s | user 1m33.646s | sys 0m11.913s
• real 2m10.890s | user 1m35.458s | sys 0m11.417s
• real 1m30.584s | user 0m51.817s | sys 0m5.454s
• real 1m55.733s | user 0m56.144s | sys 0m5.976s
• не тестировалось

Тест 16

time mysql < mysql.sql

• real 19m10.857s | user 3m5.332s | sys 0m7.356s
• real 38m30.255s | user 3m6.012s | sys 0m8.117s
• real 12m19.368s | user 1m7.666s | sys 0m4.485s
• real 11m25.427s | user 1m7.823s | sys 0m4.156s
• не тестировалось

========================================

Выводы:

SSD бывают разными, совершенно разными.

По операциям записи/перезаписи, рандомной записи, а также комбинированию рандомной записи и чтения однозначно лидируют SAS диски.

По операциям чтения файлов, как линейного, так и рандомного лидируют с большим отрывом интеловские SSD.

Если на вашем сервере в основном выполняются операции чтения, рандомного чтения, и/или линейной записи то вам вполне достаточно будет и обычных SATA. И смысла тратить деньги на что либо более дорогое и с меньшим дисковым пространством нету.

Но разумеется на большинстве проектов преимущественных операций нету, и для таких машин выбор стоит производить по тестам "Комбинированной рандомной записи и рандомного чтения". И здесь со значительным отрывом идут SAS hw raid.

Для выполнения резервного копирования и восстановления баз данных Intel SSD идут впереди с небольшим отрывом от SAS. Здесь SSD вышли вперед за счет скорости линейного чтения.

С небольшой стороны Intel SSD имеют более высокую скорость чтения, но с другой Samsung 840 Pro имеют существенно большую скорость рандомной записи и за счет этого и большую суммарную скорость для комбинированных операций. Но в то же время наблюдается просто резкое падение скорости рандомной записи при увеличении числа открытых файлов на Samsung (74 >> 22 Mb/s).

=====================

Благодарности:

Сервера с SSD INTEL SSDSA2M120 были любезно предоставлены компанией ServerClub.

Сервера с SSD Samsung 840 Pro, SAS SEAGATE, SATA были предоставлены компанией PlusServer.

=====================

Если вы желаете выполнить тестирование вашей дисковой системы и добавить их в этом сравнение обращайтесь.

ИМХО, дикие скорости в некоторых тестах указывают на огромное влияение кэша. По хорошему везде надо было отключать кэш, что на аппаратных, что на софтовых вариациях, для чистоты эксперимента.

От себя добавлю, что при случайном доступе малыми блоками SSD рулят, и они быстрее шпиндельных SAS примерно в 10...100 раз. Сам много тестировал.

sladkydze, это лишь часть проведенных тестов. Размер блоков менял, существенных изменений не было.

Кэш в sw raid? А такой разве имеется? Или же вы имеете ввиду кэш самого диска?

3 VPS на SATA (software raid1), sendmail на одной -> убивает io

spam

После удаления

график cpu

12+ VPS на SSD (software raid1) на том же сервере