Большое кол-во мелких файлов на сервере

Наверное так и надо было делать, но все хочется жить хорошо не напрягаясь. :)

А что с делать с картинками, например в директории их 100к, имеет смыл их рассовывать по разным директориям или в современных ОС уже пофиг.

Как правило, пофиг.

Может быть полезно использовать специфичные для файловой системы оптимизации. Например, dir_index в ext3.

Подводный камень ровно один - райзер с периодичностью раз в месяц разносит в кашу. То есть совсем - похоже, рассыпаются цепочки инодов, и раздел можно переформатировать :-)

Эмм.... И как оно тогда проработало _больше_ месяца ("периодичность")? Вся база 8Tb - какой-то

кеш что-ли, т.е. на данные, в общем, пофиг?

Раскидывать в обязательном порядке.

Дело не в дряхлости/современности ОС. Дело в том, что кэш имен файлов - он работает per-directory. И это просто обычная табличная структура.

По которой, конечно, выполняется поиск - ну а чем больше записей в таблице, тем медленнее работает открытие файла.

fopen() в каталоге с 10к файлов будет работать, условно, на 50-100 мкс быстрее, чем в каталоге с 100к файлов. На 1к rps это даст уже потери в порядка 0.5 сек.

Цифры очень условные, зависят, понятное дело, от fs, от нагрузки дисковой подсистемы, итп. В реальности, кстати, могут быть еще больше.

Да, хочу заметить - это все без учета именно _поиска_ файла, то бишь дерганья всяческих readdir(). Если в коде есть обход всего дерева каталогов - то в среднем на 50-60 тыс. файлов уже наступает коллапс.

Outsourcenow добавил 01.10.2009 в 17:19

А так и работало - раз в месяц руками переключалось на следующий слейв, а умерший переливался заново.

А что это проблема - большое количество файлов? У меня на сервере в общей сложности 400K картинок небольших и вроде никаких проблем нет.