Проблема с большим кол-вом файлов в одной директории

Да, на вас хайлоад очень повлиял :-)

На самом деле, есть более нормальные ФС для решения такой задачи. Но вернемся к ТС - человек пользуется _хостингом_, которым рулит поддержка хостера.

Я так и вижу, как сотрудники какого-нибудь, не к ночи будет помянут, .М, высунув от усердия язык прикручивают к шареному хостингу ZFS.

+1 штатный ftp сервер у cPanel со штатным ограничением в 2000 файлов, снимается в конфиге хостером, можно ставить хоть 10 тысяч.

Outsourcenow, я кластер с gfs сделал больше чем год за посещене хайлоада. А про ZFS могу сказать, что пока на больших объемах (N-M Ptb) оно падает на родной солярке

Если делать на одном серере - я бы использовал xfs, а не reiserfs.

Цимус ZFS - не в объемах, на мой взгляд. А, например, в нормальной работе снапшотов.

Пюсадын. К райзеру много вопросов по надежности, увы :-(

значит прийдётся по 10т делить.. хотя не очень то удобно (

Outsourcenow, с редхатом все ясно - они заложники корпоративного общего мнения.

а у вас лично какие претензии к рейзерфс?

Сыпется. Регулярно.

Причем ладно, когда он разваливается на lvm-ных снапшотах, так он, зараза, рассыпается просто на разделах в несколько терабайт, где живут хорошо так нагруженные БД.

Это несмотря на аппаратные рэйды.

Хотя справдливости ради надо сказать, что рассыпается он примерно в 1% случаев - но при нескольких сотнях серверов это напрягает.

Сервер, полагаю, на никсах. Если там FreeBSD - лям файлов создать можно, проблем не будет. Поищите, есть сравнение разных файловых систем именно в плане того, сколько можно файлов в одну папку запихать и насколько быстро это работает.

Secret добавил 05.11.2008 в 02:58

Создаёте в цикле 100к файлов нужного вам размера и смотрите, как ваш софт с ними работает. Самый простой и быстрый способ (во всяком случае быстрее получения верного ответа на форуме).

Качаю один сайт... когда количество файлов перевалило за 100.000 папка стала открываться туго, но открывается. Работаю под вистой. Сейчас в папке 494.000 файлов и продолжает увеличиваться. Правда Рейд массив шуршит как бешенный постоянно.

по теме:

Smart FTP версий 2.0 и т.д. открывали не более 9999 файлов, еще тогда (3 года назад) из-за этого

я стал разбивать папки по 5000 файлов :)

и не ошибся, производительность, судя по постам топика, от такого объема - не уменьшилась,

да и удобство пользования - папка на 2 мбита канале грузится 10 секунд...

думаю, для ТС - это самый подходящий вариант.

забыл сказать - SmartFTP версии 3.0 и т.д. грузят уже >10000 файлов....