Большое кол-во мелких файлов на сервере

12 3
D
На сайте с 20.05.2001
Offline
311
1825

Как лучше с оптимизировать систему под работу с большим кол-вом мелких файлов, какую ОС выбрать, на что ставить акценты при выборе оборудования. Может под никсы есть что-то с кэшированием, что ставится независимо от апачи.

Собственно в чем тут проблема, есть старые движки, что писались еще на заре лаповых ЭВМ :), и в процессе их работы создаются много небольших фалов, разбросанных по разным директориям, всего около 60к на каждый сайт, а таких сайтов не много. Я понимаю, что движок надо менять, но в эпоху относительно дешевых серверов и дорогих программеров хочется найти более простые решения.

Himiko
На сайте с 28.08.2008
Offline
560
#1

ОС нужно ставить ту, с которой умеете работать ВЫ или ваш админ...

P.S.: Быстрые диски в RAID10 и будет счастье) И производительность и надёжность)

Только не думаю, что это будет "чем-то простым", как вы выразились...

Профессиональное администрирование серверов (https://systemintegra.ru). Круглосуточно. Отзывы (/ru/forum/834230) Лицензии (http://clck.ru/Qhf5) ISPManager,VDSManager,Billmanager e.t.c. по низким ценам.
M
На сайте с 16.09.2009
Offline
278
#2

Раньше была reiserfs v3 очень хороша на тестах с большим числом мелких файлов (Linux). Теперь

оно немного заброшеным выглядит.

А в целом - 60k файлов - сравнительно немного. Что-то достаточно "стандартное"

для любого дистрибутива Linux (типа ext3) - скорее всего будет работать. Не оптимизируйте

без нужды.

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().
Himiko
На сайте с 28.08.2008
Offline
560
#3
myhand:
Раньше была reiserfs v3 очень хороша на тестах с большим числом мелких файлов (Linux). Теперь
оно немного заброшеным выглядит.

А в целом - 60k файлов - сравнительно немного. Что-то достаточно "стандартное"
для любого дистрибутива Linux (типа ext3) - скорее всего будет работать. Не оптимизируйте
без нужды.

с raiserfs много проблем бывает, летят они часто.

ext3/ext4 самый оптимальный вариант, имхо.

Andreyka
На сайте с 19.02.2005
Offline
822
#4

AFAIK memcache умеет хранить в памяти объекты до 1mb

А nginx умеет отдавать напрямую из memcache

Вывод напрашивается сам собой ;)

Не стоит плодить сущности без необходимости
N
На сайте с 06.05.2007
Offline
419
#5

Никаких проблем с рейзером нет. Cтарый - не значит плохой.

Andreyka, конечно для сисадмина это знать не обязательно, но на самом деле, перед тем как отдавать, в memcache нужно сначала поместить данные. В этом разрезе memcache только усложнит жизнь.

Кнопка вызова админа ()
Himiko
На сайте с 28.08.2008
Offline
560
#6
netwind:
Никаких проблем с рейзером нет. Cтарый - не значит плохой.

То, что я говорю, я взял не из "воздуха".

Это по личному опыту. Ради теста несколько месяцев назад перевели несколько машин на рейзер. Итог - испорченные нервы и трата времени.

M
На сайте с 16.09.2009
Offline
278
#7
Andreyka:
AFAIK memcache умеет хранить в памяти объекты до 1mb
А nginx умеет отдавать напрямую из memcache
Вывод напрашивается сам собой ;)

Что memcache, скорее всего, тут нафиг не сдался. Это просто лишнее место,

где может что-то сломаться. И потребует адаптации движков сайтов ТС.

Andreyka
На сайте с 19.02.2005
Offline
822
#8

Ок, тогда кеширование nginx

Он по идее склеит все мелкие файлы в кеш и будет делать seek

D
На сайте с 20.05.2001
Offline
311
#9

Значит не буду парится на этот счет. По поводу ngnix он вроде не очень совместим с DA, и тут загвоздка еще в том, что файлы дергает скрипт, я поэтому про кэширование и спрашивал.

M
На сайте с 16.09.2009
Offline
278
#10
Drow:
По поводу ngnix он вроде не очень совместим с DA, и тут загвоздка еще в том, что файлы дергает скрипт, я поэтому про кэширование и спрашивал.

nginx может работать вполне прозрачно для "скриптов". Просто как прокси (опционально - кеширующий). От него в 90% случаев единственная польза - то, что он быстро забирает ответ от основного сервера (бакенда). Да и здесь его можно заменить вторым апачем с mpm worker, например.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий