Несколько вопросов по RAID

1 23
G00DMAN
На сайте с 19.04.2008
Offline
122
#21

А никто не подскажет, на сколько можно убыстрить файловые операции увеличением числа дисков?

У меня сейчас стоят RAID 0+1 4*1Тб, контроллеры встроены в материнские, такие.

Основная цель - чтение большого количества маленьких файлов (парсинг коллекций веб-документов), т.е. скорее всего опен-клоз выжирают много времени. Если увеличивать количество дисков, то будет ли расти скорость и как?

Илья Зябрев, AlterTrader Research Ltd. Последние статьи: Об отмене ссылок в Яндексе. (www.altertrader.com/publications38.html)|Поведенческие факторы (формулы) (www.altertrader.com/publications36.html) Жадные алгоритмы Яндекса. (www.altertrader.com/publications20.html)|MatrixNet для «чайников». (www.altertrader.com/publications19.html)
PK
На сайте с 31.03.2008
Offline
22
#22
G00DMAN:
А никто не подскажет, на сколько можно убыстрить файловые операции увеличением числа дисков?
У меня сейчас стоят RAID 0+1 4*1Тб, контроллеры встроены в материнские, такие.
Основная цель - чтение большого количества маленьких файлов (парсинг коллекций веб-документов), т.е. скорее всего опен-клоз выжирают много времени. Если увеличивать количество дисков, то будет ли расти скорость и как?

Теоретически, линейно, до упирания в максимум по IOs данного контроллера. Практически, надо учитывать, что там софтовый массив, и параллельная нагрузка на камень от других задач (или обработка данных этой же задачи) будет существенно тормозить работу рэйдового драйвера...

Такие задачи лучше на сказях делать, с отдельным камнем на борту контроллера, да и драйвера для таких контроллеров какчественнее и очереди наверняка лучше работают в драйверах и фирварях сказевых...

G00DMAN
На сайте с 19.04.2008
Offline
122
#23

Public key, спасибо за ответ. На сказевые я врядли в ближайшее время перейду...

Если бы файлы были большие и правильно уложенные на харде, то наверняка почти линейно. А с маленькими файлами - черт его знает, как там организованы опен/клоз в контроллере. Проще всего наверное тупо засадить еще дисков и сравнить на длительном процессе.

PK
На сайте с 31.03.2008
Offline
22
#24
G00DMAN:
Public key, спасибо за ответ. На сказевые я врядли в ближайшее время перейду...

Эту тему прикрываем:)

Если бы файлы были большие и правильно уложенные на харде, то наверняка почти линейно.

Тогда и одного диска, в большинстве случаев достаточно...

А с маленькими файлами - черт его знает, как там организованы опен/клоз в контроллере.

С маленькими файлами, будет много сиков на дисках и много управляющих сигналов на интерфейсе. Скорость будет определятся не трансфером (Мб/сек) дисков, а кол-вом операций ввода-вывода дисков и количеством дисков, и расти будет линейно от кол-ва дисков до максимума, который может переварить контроллер. Все это справедливо в том случае, если проблема именно в скорости подачи данных, а не в скорости их обработки...

Проще всего наверное тупо засадить еще дисков и сравнить на длительном процессе.

Именно так. Или сначала все-таки помониторить, чтоб убедиться, что трабл именно в дисках.

P.S. Если возможно, используй несколько файловых систем меньшего размера, чем одну большого.

Можно еще поиграться размером стрипа в рэйде, подогнав его значение под средний размер твоих файлов или под число кратное ему...

G00DMAN
На сайте с 19.04.2008
Offline
122
#25
Public key:
Именно так. Или сначала все-таки помониторить, чтоб убедиться, что трабл именно в дисках.

Да траблов-то нет... Но хочется понимать, что можно выжать из конструкций. :)

PK
На сайте с 31.03.2008
Offline
22
#26
G00DMAN:
Да траблов-то нет... Но хочется понимать, что можно выжать из конструкций. :)

Пробуй конечно, имхо шансы достаточно высокие.

Там вроде пара свободных разьемов на этом чипе осталась еще...😂

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий