raid1 2xSATA vs raid5 3xSAS

Не уверен что правильно понял вопрос. В конкретно этой железке - 4 винта.

летом было дело. отпал из gmirror 1 винт WD RE. поторопился и вместо попытки запихать обратно в зеркало поставил новый, аналогичный. с тех пор все работает нормально, а изъятый диск никаких ошибок при тестах не показывает, использую его пока как мастер-копию настроенного сервера, при этом в зеркале он также ведет себя адекватно. моя версия: возникла ошибка чтения/записи, диск выпал из рейда, но сработало самовосстановление. возможно, у Raistlin, что-то такое же.

проблема в том, что при высокой нагрузке винт не успевает спозиционировать головки - выдаёт ошибку чтения - не пытается её скорректировать. Там реально временами нагрузка очень и очень даже ничего.

Нет. Активных винтов при создании рейда сколько указываете?

Самовосстановление сработать не успевает. Точнее, мешает ему в этом как раз TLER, иначе оно бы дождалось винта и продолжило работу. А так - винт "паникует" что не может считать/записать данные и выдаёт соответствующую ошибку, хотя стоило бы ещё попробовать подождать эдак 100-200 оборотов пластины и попытаться считать снова.

Это уже из области фантастики. Если не успевает RE винт спозиционировать, то как будет успевать десктопный?

TLER как раз для того и создавался, чтобы контроллер рейда мог принять своевременное решение об отключении диска. Нормальные диски ошибок на 8 секунд не выдают, а те что выдают - для рейда и вообще для серверного использования непригодны.

Молча, скрипя зубами. У декстопного таймаут больше. Механика там одна, единственное, что RE-винт не пытается скорректировать ошибку, а десктопный будет пытаться повторять чтение ещё и ещё. Там когда неделю летают головки из одного конца в другой - ситуация и получается.

Угу. Вот только не всегда это полезно.

Да ну? Нормальный диск повторит чтение ещё несколько раз, если не удалось прочитать сектор. Число повторений может достигать 300-400 и это нормально. А вылиться это может лишь в замедлении дисковых операций. Контроллёр может вполне себе отключить диск и в случае непоступления ответа от него вовремя. Как сделает софтовый рейд. На самом деле что хорошо в аппаратных конфигурациях, не всегда хорошо в софтовом.

я полагаю, что корректировка происходит, просто уже диск не "онлайн".

Нет. Она не происходит... Т.к. TLER.

Raistlin, ну так если TLER создавался для рейда, у вас именно Raid Edition диск, может все-таки можно ?

сейчас попробовал выключить и включить на RE4 - все нормально.

Советую в сервер поставить LSI 9240 или еще лучше LSI 9260.

Плохие контроллеры для RAID5 использовать категорически воспрещается. Может случится так, что неожданно контроллер посчитает, что один из дисков выпал из массива - тогда вы поймете зачем нужны дорогие железки.

А так, для MySQL если хотите экономить средства лучше возьмите хороший контроллер и 4 диска SATA WD Raid Edition. Под RAID 10. И надежность у него самая большая и скорость так же будет самая большая.

В общем, мне понравился только tiobench. Может быть потому, что тесты дают нужный мне результат - превосходят обычный массив по разным тестам от 5 до 140 раз :)

bonnie++ я раньше пробовал, но тут он похоже сходит с ума от ssd и пишет на многих полях плюсики +++. в интернете пишут, что так он сигнализирует о неадекватных значениях.

Вот так выглядят результаты программного ssd-ускорителя поверх самых обычных дисков 1Tb 7200 rpm. кешируются просто блоки устройства и никаких изменений в скриптах не нужно. Прямо так берем и пихаем на хостинг.

Общий объем массива 700 Гб , а 50 гб ssd-кеша "хватит любой программе" (c). Не так важно, что на момент завершения теста на самом деле данные еще не записаны в raid1. Сервер можно спокойно выключать или перегружать. Все запишется позже.

tiobench --size 10000 --threads 32

Run #1: /usr/bin/tiotest -t 32 -f 312 -r 125 -b 4096 -d . -T



Unit information

================

File size = megabytes

Blk Size  = bytes

Rate      = megabytes per second

CPU%      = percentage of CPU used during the test

Latency   = milliseconds

Lat%      = percent of requests that took longer than X seconds

CPU Eff   = Rate divided by CPU% - throughput per cpu load



Sequential Reads

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32  244.60 1388.%     0.502      183.88   0.00000  0.00000    18



Random Reads

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32  118.25 242.1%     1.024       14.12   0.00000  0.00000    49



Sequential Writes

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32  231.29 2302.%     0.512     1333.61   0.00000  0.00000    10



Random Writes

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32  142.29     0%     0.012       31.16   0.00000  0.00000     0

root@sup:/var/www/tio2# free -m

             total       used       free     shared    buffers     cached

Mem:           478        166        312          0         36          9

-/+ buffers/cache:        119        358

Swap:          953          0        953



это снимок atop, в котором видно какие именно диски нагружаются



ATOP - sup                2011/12/09  01:09:23               10 seconds elapsed

PRC | sys   4.75s | user   0.28s | #proc     96 | #zombie    0 | #exit      0 |

CPU | sys     35% | user      1% | irq       7% | idle     34% | wait    323% |

cpu | sys     22% | user      0% | irq       7% | idle      0% | cpu002 w 71% |

cpu | sys      5% | user      0% | irq       0% | idle      3% | cpu000 w 92% |

cpu | sys      5% | user      0% | irq       0% | idle     12% | cpu001 w 82% |

cpu | sys      3% | user      0% | irq       0% | idle     19% | cpu003 w 77% |

CPL | avg1  21.02 | avg5    7.25 | avg15   3.05 | csw   163656 | intr   73964 |

MEM | tot  478.6M | free    6.9M | cache 302.8M | buff   35.8M | slab   45.7M |

SWP | tot  953.9M | free  953.9M |              | vmcom 307.5M | vmlim   1.2G |

PAG | scan 624071 | stall      0 |              | swin       0 | swout      0 |

DSK |         sdc | busy    100% | read   66014 | write    615 | avio    0 ms |

DSK |         sdb | busy      9% | read     206 | write    295 | avio    1 ms |

DSK |         sda | busy      8% | read     167 | write    295 | avio    1 ms |

NET | transport   | tcpi       1 | tcpo       1 | udpi       0 | udpo       0 |

NET | network     | ipi        5 | ipo        1 | ipfrw      0 | deliv      5 |

NET | eth0     0% | pcki       5 | pcko       1 | si    0 Kbps | so    0 Kbps |



  PID  SYSCPU  USRCPU  VGROW  RGROW  RDDSK  WRDSK  ST EXC S  CPU CMD     1/3

 1598   4.24s   0.28s     0K     0K   4.6G     0K  --   - S  45% tiotest

   34   0.26s   0.00s     0K     0K     0K     0K  --   - S   3% kswapd0

  329   0.17s   0.00s     0K     0K     0K     0K  --   - S   2% md3_raid1

   12   0.03s   0.00s     0K     0K  9580K     0K  --   - S   0% kworker/2:0

 1632   0.02s   0.00s     0K     0K     0K     0K  --   - R   0% atop



/

память специально ограничена 512mb, потому что tiobench кеш в памяти забивает.

Где-то в таких условиях потестируйте и посмотрим чей raid-контроллер действительно круче.

Для сравнения вот еще результаты такого же теста на чистом raid1 без ssd

 tiobench --size 10000 --threads 32

Run #1: /usr/bin/tiotest -t 32 -f 312 -r 125 -b 4096 -d . -T



Sequential Reads

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32   51.35 58.84%     1.786      858.59   0.00000  0.00000    87



Random Reads

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32    1.27 3.015%    90.950      491.75   0.00000  0.00000    42



Sequential Writes

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32   50.09 480.0%     2.328     9458.27   0.03099  0.00000    10



Random Writes

                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU

Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff

---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----

2.6.38-13-server             10000  4096   32    1.08 1.444%     0.013        8.01   0.00000  0.00000    74