Хранение файлов в одной директории

12
tco
На сайте с 13.05.2005
Offline
88
tco
1742

Всем привет !

Тысячи мелких картинок в одной директории порядка 20000 посетителей в день, взял ВПС от Дримхоста т.к. были положительные отзовы

о быстрой файловой системе этих ВПС, в итоге имею под 90% по индикатору wa команды top.

ВПС от Дримхоста используется исключительно для отдачи картинок, энжинс.

Правильно ли я понимаю: при прямом обращении image.site.com/image1.jpg ресурсы системы не тратятся на просмотр всего каталога, или же поиск по директории происходит линейно пока не найден файл ?

Имеет ли смысл разнести файлы по подкаталогам на ВПС ? Опять же , если бы это был мой собственный сервер, возможно вся структура этого каталога попала бы в кэш , а при ВПС с множеством соседей.

Спасибо!

[umka]
На сайте с 25.05.2008
Offline
456
#1

Разбивайте по 1000 файлов на директорию.

Лог в помощь!
tco
На сайте с 13.05.2005
Offline
88
tco
#2
'[umka:
;6779893']Разбивайте по 1000 файлов на директорию.

Значит ничего не изменилось .... Я уж грешным делом решил, что это пережиток и современные ОС умеют управлять кэшированием директорий.

[umka]
На сайте с 25.05.2008
Offline
456
#3
tco:
Значит ничего не изменилось ....

Да... для обработки данных по-прежнему требуются системные ресурсы :D

tco
На сайте с 13.05.2005
Offline
88
tco
#4

А вот и другое мнение:

Как показывает моя практика, на современных файловых системах кол-во файлов в директории особого рояля не играет (если не пытаться получить листинг этой директории).
Нашел скрипт и провел тест: по 100000 раз открывал и закрывал файлы. Один "одинокий" и один среди ~54к.
1268924264.65
1268924267.05
Elepsed Time: 2.39999985695
1268924267.05
1268924269.46
Elepsed Time: 2.41000008583
Первое время - доступ к файлу из кучи, второе - к "одиночке". Несколько раз прогнал тест - результат практически один в один.

Что касается получения листинга, тут, конечно понятно, что "куча" проиграет. Но это не особо важно. Скрипт очистки кэша будет работать через opendir, а не glob
[umka]
На сайте с 25.05.2008
Offline
456
#5
tco:
А вот и другое мнение:

Цитата:
Нашел скрипт и провел тест: по 100000 раз открывал и закрывал файлы. Один "одинокий" и один среди ~54к.

Один и тот же? попробуйте каждый раз разные.

Jake Foley
На сайте с 16.08.2008
Offline
124
#6

у меня в одной папке 1 млн файлов - все ок 🚬

zexis
На сайте с 09.08.2005
Offline
358
#7

Лучше сделать подкаталоги, что бы в одной папке было не более 100-1000 файлов.

Так как в случае необходимости открыть папку с миллионом файлов в midnight comander, сделать это будет довольно сложно.

К тому же технически разбить на подкаталоги не составляет труда и не нужно будет думать тормозит систему много файлов в одной папке или нет.

Pavel.Odintsov
На сайте с 13.05.2009
Offline
169
#8
tco:
Всем привет !

Тысячи мелких картинок в одной директории порядка 20000 посетителей в день, взял ВПС от Дримхоста т.к. были положительные отзовы
о быстрой файловой системе этих ВПС, в итоге имею под 90% по индикатору wa команды top.
ВПС от Дримхоста используется исключительно для отдачи картинок, энжинс.

Правильно ли я понимаю: при прямом обращении image.site.com/image1.jpg ресурсы системы не тратятся на просмотр всего каталога, или же поиск по директории происходит линейно пока не найден файл ?

Имеет ли смысл разнести файлы по подкаталогам на ВПС ? Опять же , если бы это был мой собственный сервер, возможно вся структура этого каталога попала бы в кэш , а при ВПС с множеством соседей.

Спасибо!

А на какой технологии VPS? Покажите шапку top. Большое число файлов в каталоге, конечно, может тормозить файловую систему, но лишь в случае, если недостаточно оперативной памяти на VPS (xen, kvm) либо на HWN (OpenVZ, Virtuozzo).

Решение по обнаружению DDoS атак для хостинг компаний, дата центров и операторов связи: FastNetMon (https://fastnetmon.com)
voodoo911
На сайте с 11.03.2008
Offline
145
#9
Jake Foley:
у меня в одной папке 1 млн файлов - все ок 🚬

Как говорил Станиславский..... :) Кроме что если посещалка 5 челов в день.

Не более 1000 в директорию, дабы не было проблем.

На одном и сайтов в папке хранилось 22000 фото. Когда посещалка пошла к 10К сервер отрубили изза экстра нагрузки. Перелопатил все, оказалось что трабл в картинках. Разделил по пвпкам - трабла исчезла. Сервак на Линухе.

tco
На сайте с 13.05.2005
Offline
88
tco
#10
Pavel.Odintsov:
А на какой технологии VPS? Покажите шапку top. Большое число файлов в каталоге, конечно, может тормозить файловую систему, но лишь в случае, если недостаточно оперативной памяти на VPS (xen, kvm) либо на HWN (OpenVZ, Virtuozzo).

Пишут что используют Linux-VServer http://linux-vserver.org/Welcome_to_Linux-VServer.org

top - 02:08:30 up 23:26, 1 user, load average: 0.00, 0.00, 0.00

Tasks: 33 total, 1 running, 32 sleeping, 0 stopped, 0 zombie

Cpu(s): 4.7%us, 0.9%sy, 0.0%ni, 0.0%id, 93.0%wa, 0.1%hi, 1.2%si, 0.0%st

Mem: 307200k total, 299696k used, 7504k free, 0k buffers

Swap: 0k total, 0k used, 0k free, 276096k cached

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий