Лучше все же использовать в качестве кеша на чтение, чем без рейда - Хостинг и серверы для сайтов

SAS vs. SSD, Сравнительные тесты дисковых подсистем.

Андрей · 2013-10-05T06:42:51.0000000Z

Имеем два подопытных кролика: 2x SAS, hw raid1 и 2x SSD, hw raid1. Машины идентичны: CPU 2x AMD Opteron 6164 HE 12-Core RAM 16x Gigabyte RAM RAID-Controller HP SmartArrayP410 Barebone Hewlett Packard DL165 G7 SAS Vendor: SEAGATE Product: ST3300657SS User Capacity: 300 GB Logical block size: 512 bytes SSD Product: Samsung 840 Pro User Capacity: 128 GB Logical block size: 512 bytes Тест 1: линейная запись dd if=/dev/zero of=/tmp/testfile.bin bs=256k count=2048 SAS: 717 MB/s SSD: 682 MB/s Тест 2: линейное чтение dd of=/dev/null if=/tmp/testfile.bin bs=512k count=1024 SAS: 1.7 GB/s SSD: 2.1 GB/s Тест 3: hdparm -tT /dev/sda Timing cached reads:*SAS 2438.26 MB/s; SSD 2484.01 MB/s Timing buffered disk reads: SAS 2293.67 MB/s; SSD 219.26 MB/s Тест 4: fio [global] bs=4k size=256M filename=test.file direct=1 buffered=0 ioengine=libaio iodepth=16 [seq-read] rw=read stonewall name=Sequential reads [rand-read] rw=randread stonewall name=Random reads [seq-write] rw=write stonewall name=Sequential writes [rand-write] rw=randwrite stonewall name=Random writes Sequential reads: SAS 161.82 MB/s 41426 iops; SSD 120.3 MB/s 30796 iops Random reads: SAS 245.68 MB/s 62894 iops; SSD 125.8 MB/s 32204 iops Sequential writes: SAS 225.75 MB/s 57791 iops; SSD 202.85 MB/s 51930 iops Random writes: SAS 218.43 MB/s 55918 iops; SSD 187.82 MB/s 48082 iops Тест 5: линейная запись (с другими параметрами) dd if=/dev/zero of=testfile bs=64k count=16k conv=fdatasync SAS: 205 MB/s SSD: 61.8 MB/s Тест 6: линейное чтение после очистки кэша echo 3 > /proc/sys/vm/drop_caches dd if=testfile of=/dev/null bs=64k SAS: 389 MB/s SSD: 192 MB/s Тест 7: Unixbench File Copy 1024 bufsize 20000 maxblocks: SAS 452 MB/s; SSD 477.71 MB/s File Copy 256 bufsize 500 maxblocks: SAS 130.52 MB/s; SSD 136.72 MB/s File Copy 4096 bufsize 8000 maxblocks: SAS 804.79 MB/s; SSD 686.22 MB/s System Banchmarks Index Score: SAS 645.7; SSD 637.3 Тест 8: мои наработки SAS: 628.14 MB/s, 40200.95 request/s SSD: 552.33 MB/s, 35348.85 requests/s Последние два теста привел только для сравнения. Приветствуются ваши варианты тестов дисковых систем но только понятными, открытыми тестами, а не с "птичками". Искренне прошу поделится вашими тестами - самими командами. Теория не интересует вовсе, только практические понятные тесты. Ну и разумеется ваше мнение на этот счет. Если считаете что указанные выше тесты некорректны - укажите почему и ваш вариант тестов. Очень прошу не гадить в теме постами: "ssd лучше", "а птички битрикса показывают другое". Полагаю тема будет полезна всем, а именно ее конечный результат. Далее продолжу тесты с разными параметрами утилиты fio. Однопоточный тест fio для SAS Sequential reads: bw=7196.3KB/s, iops=14392 Random reads: bw=7009.4KB/s, iops=14018 Sequential writes: bw=6800.2KB/s, iops=13601 Random writes: bw=6209.0KB/s, iops=12418 Однопоточный тест fio для SSD Sequential reads: bw=3045.1KB/s, iops=6091 Random reads: bw=1604.2KB/s, iops=3209 Sequential writes: bw=3059.5KB/s, iops=6118 Random writes: bw=3067.2KB/s, iops=6134 SAS опережает SSD в два раза. =============================== Тест fio в 24 потока для SAS Sequential reads: bw=31256KB/s, iops=62511 Random reads: bw=29228KB/s, iops=58455 Sequential writes: bw=28823KB/s, iops=57645 Random writes: bw=27450KB/s, iops=54899 Тест fio в 24 потока для SSD Sequential reads: bw=25881KB/s, iops=51761 Random reads: bw=23734KB/s, iops=47468 Sequential writes: bw=26600KB/s, iops=53200 Random writes: bw=25136KB/s, iops=50272 Получается что с ростом числа потоков SAS и SSD почти сравнились. Однопоточный тест fio для SAS, 10 тыс. файлов общим весом 255MB Sequential reads: bw=1901.4KB/s, iops=3802 Random reads: bw=3915.8KB/s, iops=7830 Sequential writes: bw=4358.4KB/s, iops=8716 Random writes: bw=575671B/s, iops=1124 Однопоточный тест fio для SSD, 10 тыс. файлов общим весом 255MB Sequential reads: bw=1189.9KB/s, iops=2379 Random reads: bw=2080.8KB/s, iops=4160 Sequential writes: bw=2494.1KB/s, iops=4988 Random writes: bw=1893.8KB/s, iops=3787 ====================================================== Тест fio в 24 потока для SAS, 10 тыс. файлов общим весом 255MB Sequential reads: bw=2466.5KB/s, iops=4932 Random reads: bw=5280.9KB/s, iops=10560 Sequential writes: bw=18156KB/s, iops=36311 Random writes: bw=768665B/s, iops=1501 Тест fio в 24 потока для SSD, 10 тыс. файлов общим весом 255MB Sequential reads: bw=15546KB/s, iops=31092 Random reads: bw=18836KB/s, iops=37672 Sequential writes: bw=17351KB/s, iops=34702 Random writes: bw=11904KB/s, iops=23807 Вот тут у SAS'а начались проблемы. Однопоточный тест fio разными блоками (от 512б до 16Кб) для SAS Sequential reads: bw=7196.3KB/s, iops=14392 Random reads: bw=7009.4KB/s, iops=14018 Sequential writes: bw=6800.2KB/s, iops=13601 Random writes: bw=6209.0KB/s, iops=12418 Однопоточный тест fio разными блоками (от 512б до 16Кб) для SSD Sequential reads: bw=43603KB/s, iops=5298 Random reads: bw=15858KB/s, iops=2690 Sequential writes: bw=42736KB/s, iops=5193 Random writes: bw=31301KB/s, iops=5293 SSD не любит разброс размера блоков? Какова вероятность этого? ================================================= Тест fio в 24 потока разными блоками (от 512б до 16Кб) для SAS Sequential reads: bw=458294KB/s, iops=55692 Random reads: bw=322044KB/s, iops=54643 Sequential writes: bw=410884KB/s, iops=49931 Random writes: bw=286496KB/s, iops=48451 Тест fio в 24 потока разными блоками (от 512б до 16Кб) для SSD Sequential reads: bw=395391KB/s, iops=48048 Random reads: bw=268590KB/s, iops=45573 Sequential writes: bw=408324KB/s, iops=49619 Random writes: bw=241830KB/s, iops=40897 ================================================= Исходя из всех тестов делаю заключение, что SSD имеет преимущество только если в системе огромное число файлов, которые обрабатываются одновременно. Никаких других преимуществ не вижу. ---------- Добавлено 05.10.2013 в 09:46 ---------- Беремся потихоньку за MySQL Подготовим innoDB таблицу на 500 тыс. записей и выполним тест в 128 поток выполнил 100 тыс. запросов. sysbench --test=oltp --mysql-table-engine=innodb --oltp-table-size=500000 --db-driver=mysql prepare sysbench --test=oltp --num-threads=128 --max-requests=100000 --oltp-table-size=500000 --db-driver=mysql run SAS transactions: 100046 (3718.79 per sec.) deadlocks: 1 (0.04 per sec.) read/write requests: 1900890 (70657.54 per sec.) other operations: 200093 (7437.61 per sec.) total time: 26.9029s SSD transactions: 100032 (2709.75 per sec.) deadlocks: 0 (0.00 per sec.) read/write requests: 1900608 (51485.16 per sec.) other operations: 200064 (5419.49 per sec.) total time: 36.9156s SSD пасет задних. ============================================== Аналогичный тест для MyISAM но с параметрами таблиц попроще: SAS transactions: 1000 (126.60 per sec.) read/write requests: 19000 (2405.31 per sec.) other operations: 2000 (253.19 per sec.) total time: 7.8992s SSD transactions: 1000 (123.59 per sec.) read/write requests: 19000 (2348.17 per sec.) other operations: 2000 (247.18 per sec.) total time: 8.0914s Ну попробуйте убедить меня что теория права. Пока только один тест это подтвердил и то это должен быть какой то файловый хостинг или в этом роде. Цель темы - определить практические преимущества SSD и где их можно применить.

4

wprecursor

16 октября 2013, 20:50

#81

netwind:
Ну а как их ТС тестировать-то будет ?
Можно обсудить, как некоторые корпоративные пользователи с предубежедением к ненадежности SSD, используют СХД и даже не знают, что частью этих систем является SSD - это забавная ситуация.

SSD, использующийся в качестве кеша на чтение, безопасен в приципе.

Поэтому даже предубежденный корпоративный пользователь после 5 минут объяснения на пальцах должен понять.

Экзотичные варианты не рассматриваю.

1

N

419

netwind

16 октября 2013, 21:08

#82

wprecursor:
SSD, использующийся в качестве кеша на чтение, безопасен в приципе.

Ну так он же бесполезен в такой конфигурации.

Вы не обращали внимание, почему эти корпоративные пользователи ценят именно контроллер с батарейкой, а не просто кеш-память ?

Кнопка вызова админа ()

[Удален]

16 октября 2013, 21:21

#83

netwind, бесполезен? Т.е. куча народу, использующих ssd таким же образом за немалые деньги просто идиоты?

p.s. я не вступаю с вами в спор, мнение хочу понять.

P

144

poiuty

16 октября 2013, 22:21

#84

На счет ssd под кеш (flashcache, например), тестил 2xSATA (RAID1) + SSD

bonnie++ -d /vz -s 50000 -u root

SATA /vz

write 113
read 129
IOps 293

SATA + writethrough SSD cache /vz

write 110Mb
read 404Mb
IOps 3433

SATA + writeback SSD cache /vz

write 624Mb
read 404Mb
IOps 4865

1

203

MIRhosting.com

17 октября 2013, 01:21

#85

Кстати кто не в курсе, поддержка discard (trim) в mdadm официально появилась только с centos 6.4

Но даже при этом все равно использовать софтовый рейд на ssd крайне неэффективно. Кроме упомянутой уже проблемы одновременного прихода дисков к своему финишу, есть проблема того, что mdadm записывают полный объем партиции нулевыми данными.

Так что ssd имеет смысл юзать только единично, или на хороших контроллерах, которые адаптированы под особенности ssd.

1

Андрей Нестеренко, MIRhosting Облачная платформа для DevOps (https://mirhosting.com/paas)

Выбор железа Хостинг под Вордпресс 12к SSD vs HW RAID

P

144

poiuty

17 октября 2013, 01:50

#86

MIRhosting.com:
Кстати кто не в курсе, поддержка discard (trim) в mdadm официально появилась только с centos 6.4
Но даже при этом все равно использовать софтовый рейд на ssd крайне неэффективно. Кроме упомянутой уже проблемы одновременного прихода дисков к своему финишу, есть проблема того, что mdadm записывают полный объем партиции нулевыми данными.
Так что ssd имеет смысл юзать только единично, или на хороших контроллерах, которые адаптированы под особенности ssd.

Еще нужна поддержка trim в ядре. Не думаю, что два диска затрутся одновременно. Лучше все же использовать в RAID1, чем без рейда.

Выбирал между SAS и SSD. Выбрал SSD. Не пожалел. Юзаю уже год intel 520 ssd в RAID 1, никаких проблем. И самое главное на read - замечательно работает + много iops.

Посоветуйте где дедик взять. Соориентируйте по цене на каких дисках выбрать

TP

90

ThePriest

17 октября 2013, 04:17

#87

wprecursor:
Мы обсуждаем SAS и SSD не только в пределах баз данных.
Факт в том, что некоторые хостеры используют отдельный сервер с SSD для БД, а в качестве основного хранилища - SAS или SATA диски.
Также фактом является то, что SAS надежнее и являет собой образец стабильной работы в любых режимах, чем SSD похвастать не может, недотягивая даже до одиночного диска в некоторых операциях.

Пожалуйста, повторяйте с SAS

http://www.mysqlperformanceblog.com/2013/08/28/testing-intel-samsung-sandisk-sata-ssd/

sz=350G
sysbench --test=fileio --file-total-size=$sz --file-num=64 prepare
sysbench --test=fileio --file-total-size=$sz --file-test-mode=rndwr --max-time=180000 --max-requests=0 --num-threads=8 --rand-init=on --file-num=64 --file-io-mode=async --file-extra-flags=direct --file-fsync-freq=0 --file-block-size=16384 --report-interval=10 run

WapGraf:
ThePriest, вы не учли тот факт что в статье тестировался один тип ssd.

По ссылке сравнение разных ssd.

[Удален]

17 октября 2013, 07:46

#88

MIRhosting.com:
Кстати кто не в курсе, поддержка discard (trim) в mdadm официально появилась только с centos 6.4
Но даже при этом все равно использовать софтовый рейд на ssd крайне неэффективно. Кроме упомянутой уже проблемы одновременного прихода дисков к своему финишу, есть проблема того, что mdadm записывают полный объем партиции нулевыми данными.
Так что ssd имеет смысл юзать только единично, или на хороших контроллерах, которые адаптированы под особенности ssd.

В тестируемом mdadm поддержка была. Ось новая.

Спасибо за замечание, сделаем тест 1-го диска.

---------- Добавлено 17.10.2013 в 10:48 ----------

ThePriest, последняя партия тестов и выполнялась с помощью sysbench, но с другими параметрами. Обязательно проведу с этими.

Подскажие php скрипт Вопрос про показатель отказов Soft Raid 1 -

243

sladkydze

17 октября 2013, 07:53

#89

Дать на тест машинку? У меня разные типы дисков есть.

Предлагаю VDS, IaaS, Dedicated. http://riaas.ru (http://riaas.ru)

[Удален]

17 октября 2013, 07:55

#90

Кстати из теста можно удалить file-block-size=16к, - это дефолтный параметр. И почему именно 16кб? Часто в реалиях вы увидите файлы с такими блоками?

rand-init=on откуда взялся? В документации такого нету. Да и вообще нету!

Unknown option: --rand-init.

--init-rng полагаю должно быть.

Версия последняя, 4.12 )

---------- Добавлено 17.10.2013 в 10:56 ----------

sladkydze, буду очень признателен. Но лучше на понедельник, когда будут готовы все несинтетические тесты.

Sharingmatrix файло-на-деньги обменник 4 Вечные ссылки с трастовых Перекосило сайт после смены

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов

Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта

SAS vs. SSD, Сравнительные тесты дисковых подсистем.