Где лучше хранить кэш?

Получил письмо))

Я понимаю, что делают, но это явно не выход для ТС :)

Хм) извените, если что-то не правильно понял не воспринял это в серьез. Но сервер 4 ТБ озу я о таком не слышал. Но даже если делают для каких целей? Разве не лучше рейд сделать или еще какой нибудь вариант. Это по сколько озу должно быть? Максимум вроди как 32 на одну планку, это нужны какие-то специальные материнские платы, в которые можно вставлять безконечное количетсво планок, вы уверены, что ничего не перепутали?

Может быть общая совокупность озу 4 тб на всех серверах. Это более или менее оправдано. И тогда под мемкеч можно использовать к примеру порядка 4 тб.

Для каких целей формировать сервер с 4 ТБ рам?

Но мне по сути такое решение не подходит.

И раз вы уже тут написали мне интересно неужели 4 тб рам на одном сервере работает быстрее чем 4 тб из рейд 64 или 128 или 256 по цене даже 256 дешевле) даже рейд из 1024 будет по аналогичной цене. Так там и объем больше в сотни раз, можно хранить редкоиспользуемые данные без особых нагрузок.

Ну вот, например...

..

А лучше или хуже - в общем случае сказать нельзя, ибо ситуации бывают разные и определяются только конкретными приложениями..

Хороший сервер))

Если это кеш к которому идет прямое обращение, типа файл_гет_контент (без поисков и прочих листингов), то однозначно файлы.

раньше когда дорвеями на статике занимался, старенький пень 4 с 1 гб оперативки влегкую выдерживал 12М статичных файлов, по 50к файлов в директорию.

Решил не создавать новую тему.

На сервере необходимо разместить порядка миллиона изображений размером до 10 kB

Имеет ли смысл делать разбиение на подкаталоги, если не будет производится получение списка файлов. Т.е. есть ли разница при прямом обращении к файлу в каталоге из 1 000 000 и в каталоге из 100 файлов.

И, если смысл в разбиении имеется, то какое количество файлов держать в одном каталоге?

ОС: Debian

Имеет смысл это делать чтобы было удобнее работать с этими файлами. Если же совсем не хочется заморачиваться можно "и так". На одном популярном проекте я видел 10 миллионов файлов в одном каталоге на ext3 и ничего живут. В старых ядрах Linux сильно падала производительность если файлов больше нескольких тысяч но сейчас это не актуально.

обычно файлы не считают а вырабатывают некий алгоритм который дает распределение файлов по подкаталогов (в идеале, нормальное или близкое к нему)

считаю что в вашем случае было бы удобно сделать 2 уровня вложености.

Разница есть, однозначно. Причем огромная. Если вы напрямую к файлу обращаетесь время все равно увеличивается.

Просто если вы обращаетесь к одному файлу это может быть незаметно на глаз, но скорость уменьшается в тысячи раз.

+1

Добавлю лишь, что желательно в одном каталоге иметь не более нескольких тысяч подкаталогов/файлов.

Неплохой архитектурный совет...

bdmalex добавил 22.06.2011 в 15:39

А вы проведите эксперимент, создайте две такие директории, в каждую положите один и тот же файл name.txt

И просто запустите: date>>log.txt;tail -f name.txt;date>>log.txt

И затем - сравните результаты...:)