Проблемы с дисковой системой.

12
M
На сайте с 16.09.2009
Offline
278
#11
netwind:
не является ли суммарное потраченное время на бекап наиболее простым и доступным показателем для сравнения нагрузки?

Сравнения чего с чем?

Поймите, наконец, сравниваются не две разных стратегии бекапа на разных структурах файлов - а нагрузка от бекапа с нагрузкой от обычной работы сайтов. Вы правы, что разнос тучи файлов по каталогам бекап никак не облегчит - просто поймите, что речь шла не об этом.

Бекап (типовой, в т.ч. ispmanager) - лишь пример программы, создающей нагрузку определенного типа.

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().
N
На сайте с 06.05.2007
Offline
419
#12

myhand, сравнения нагрузки при бекапе с большим числом подкаталогов и при маленьком. Если разницы нет ни для бекапа, ни для обслуживания файлов, то нужно сосредоточиться на чем-то еще,а не на на директориях с 29 тыс. файлов. бекап у ispmanager - все тот же tar .

Кнопка вызова админа ()
M
На сайте с 16.09.2009
Offline
278
#13
netwind:
myhand, сравнения нагрузки при бекапе с большим числом подкаталогов и при маленьком.

Это вы сравниваете, не я.

Давайте последний раз, для особо одаренных. Я ответил вот на это:

netwind:
lokid7,

Это сомнительно. Как правило, сайты не получают список содержимого файлов, а все остальное работает достаточно хорошо даже если файлов в каталоге много.
(Подразумеваю, что вы опечатались, и читать надо "содержимое каталога" - иначе вообще полный бред.)

Я вам ответил, что на сервере есть не только скрипты сайтов и вебсервер. Обычно есть, к примеру, бекап - и как раз он именно "получает список содержимого". Вот работа бекапа в свою очередь - как раз могла негативно сказаться далее на сайтах. Я предложил исключить этот вариант ТС.

L7
На сайте с 04.06.2008
Offline
68
#14
myhand:
Вот работа бекапа в свою очередь - как раз могла негативно сказаться далее на сайтах. Я предложил исключить этот вариант ТС.

Время когда сервер падал под нагрузкой и время бекапа не сходятся как минимум в 6-12 часов.

N
На сайте с 06.05.2007
Offline
419
#15

myhand, конечно, работа бекапа могла сказаться сама по себе. Но бекап получает список один раз, а не каждый раз при обслуживании запроса. Ничего страшного даже для бекапа такая папка не представляет.

вообще, тормоза от большого числа файлов в каталоге придумали любители mc. mc помимо списка еще и метаданные файлов получает.

M
На сайте с 16.09.2009
Offline
278
#16
lokid7:
Время когда сервер падал под нагрузкой и время бекапа не сходятся как минимум в 6-12 часов.

Надеюсь, что "время" - интервал, а не просто время начала бекапа.

Пожалуй, логично, 200тыс. инодов не так много.

lokid7:
И уже за полгода существования сервера два раза уходил по нагрузке (wa в top постоянно показывал 99%), помогал только физический ресет сервера.

А что обычно показывает топ по этому поводу? (в среднем, max/min за день скажем)

Может быть и аппаратная проблема.

netwind:
myhand, конечно, работа бекапа могла сказаться сама по себе. Но бекап получает список один раз, а не каждый раз при обслуживании запроса. Ничего страшного даже для бекапа такая папка не представляет.

На работе сайта это скажется, особенно если он активно трогает файлы.

Недавно наблюдал ситуацию, когда скрипт бекапа "проходился" по дереву директорий с кучей файлов, к которым вообще не было обращений из веб. Сайт активно работает с файлами на диске и его достаточно контрастно "подтормаживало" (кое-что явно было выпихнуто из кеша). Бекап каталогов, к которым происходит активное обращение - незаметен вовсе. Хотя, без адекватной настройки (приоритеты, etc), проблему вызвал бы и он.

netwind:
вообще, тормоза от большого числа файлов в каталоге придумали любители mc.

не пользуюсь

L7
На сайте с 04.06.2008
Offline
68
#17
myhand:
Надеюсь, что "время" - интервал, а не просто время начала бекапа.

Пожалуй, логично, 200тыс. инодов не так много.

Бекап быстро завершается, это точно не от него.

---------- Добавлено в 21:35 ---------- Предыдущее сообщение было в 20:59 ----------

myhand:

А что обычно показывает топ по этому поводу? (в среднем, max/min за день скажем)

0.05/0.2 в среднем по нагрузке в топе в обычные дни. Когда падал сервер - нагрузка начинала постепенно с 10 до 40 расти в последний раз, до этого ближе к 100 добралось. А так только wa изменяется в top, если смотреть список процессов, когда зависло все, то по столбцу cpu% - не видно никакой нагрузки. iostat, iotop и подобные программы перестают работать (просто подвисают). Сервер остается доступен по ssh, но нельзя ничего записать на диск - слишком длительные задержки получаются (можно только создавать пустые файлы).

N
На сайте с 06.05.2007
Offline
419
#18
myhand:
Недавно наблюдал ситуацию, когда скрипт бекапа "проходился" по дереву директорий с кучей файлов, к которым вообще не было обращений из веб. Сайт активно работает с файлами на диске и его достаточно контрастно "подтормаживало" (кое-что явно было выпихнуто из кеша). Бекап каталогов, к которым происходит активное обращение - незаметен вовсе. Хотя, без адекватной настройки (приоритеты, etc), проблему вызвал бы и он.

вроде все логично, но где тут связь с числом файлов в одном каталоге ?

M
На сайте с 16.09.2009
Offline
278
#19
netwind:
вроде все логично, но где тут связь с числом файлов в одном каталоге ?

Ну, будь их не под 10M - я бы там вряд-ли вообще как-то заметил бекап ;)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий