Mage1

Mage1
Рейтинг
83
Регистрация
05.07.2007

ТС, были какие-либо еще известия от друзей студентов?

Решил попробовать обновиться до 8.2-RC2, но возникла следующая проблема. Хочу сделать бекап и скачать на другую машину перед обновлением. Ранее бекап делался в пятницу в 23 часа и к утру субботы был готов (в пятницу вечером и субботу наименьшая посещаемость). Сейчас количество (и объем) файлов увеличился и даже днем субботы процесс бекапа (bsdtar) в самом разгаре (судя по размеру архива - процентов 30-40 готово), при этом он занимает диск (LA 0.1-0.2), страницы отдаются всё медленнее и в определенное время в субботу совсем отказываются отдаваться :) Подскажите, как в таких условиях можно сделать бекап, не выключая веб-сервер?

UP: похоже, понижение приоритета командой renice сработало, сервер работает, бекап архивируется.

rtyug:
нет, проблема может быть в том как именно открываются эти файлы (так как используется самописный скрипт)
по крайней мере можно так предположить...? :)

php file_get_contents

Andreyka:
zfs - кака?

Storage pool Version: 14 (spa)

rtyug:
...много их и что за файлы?

файлы с текстом, мелкие, их более ста тысяч

rtyug:
может быть посмотреть скрипты, например, используется ли там буферизация при чтении файлов?
может быть использовать AIO (ассинхронный ввод/вывода)
так же может быть кэшировать дескрипторы открываемых файлов в скрипте...

вы описали методы как можно это дело ускорить без кеша zfs, которые я не хочу, но буду вынужден применять, если ничего не получится с кешем zfs, насколько я понял, он должен всё это делать прозрачно (и быстро), т.е. кешировать файлы в оперативке, а скрипты будут читать их используя обычные команды чтения с дисков.

rtyug:

файлы стоят в одном каталоге? может в ввиде кэша по каталогам их расставить...

по сотне каталогов раскиданы.

vlad11:
Обновитесь до 8.2 там много багов исправлено с ZFS

хм...до релиз кандидата? а по сравнению с 8.1 также исправлено?

ну же, господа, предполагайте изложения, т.е. излагайте предположения.

Andreyka:
Похоже что ZFS на фре существует для галочки, а в продакшене ее использовать нельзя...

обидно однако :( неужели придется делать костыли?

myhand:
Разумная экстраполяция.

Делал, конечно. Но в данном случае это касается ситуации, когда были изменены настройки по-умолчанию. Причем ни малейшего понятия о смысле проведенных изменений нету. Диагноз прост - человек как минимум не читал документацию к программе и вообще имеет о ней крайне отдаленное представление.

СтОит. Смотря по факту. (Да и не один он тут, ежели на то пошло.)

Ну что ж, придется остаться любителем большого количества воркеров, ваша безапелляционность не дает выбора.

P.S. В документации:

syntax: worker_processes число
default: worker_processes 1
context: main

Директива задаёт число рабочих процессов.

Настройка по умолчанию, конечно, наталкивает на мысль, но по существу никаких рекомендаций нет :)

Документацию я, кстати, читал, но затем подзабыл решил, что это аналог апачевской MaxClients :) Сейчас стану еще и склеротиком :)

myhand:
пацтулом

Завязывайте Вы уже совсем с "серверами на баше".

"Собственно действия" - просты. Поскольку телепатически разобраться в том, что Вы там еще попутно в конфигах наколбасили ни у кого времени и желания бесплатно нету (ну разве вот у специалиста по многопоточным серверам на баше ;)) - не жадничайте. Обдумайте ТЗ (что именно составляет для Вас проблему, в чем она выражается) и попросите решить его специалиста.

Я понимаю, каким образом у вас сложилось впечатление обо мне как о любителе "колбасить" в конфигах. С 24-мя nginx worker'ами я дал маху и вы решили, что у меня все в таком духе. Обычно я обдуманнее подхожу к вопросу. Вы, я думаю, мне не поверите, но и я не поверю, что вы ни разу не делали глупых ошибок ;) Не стоит клеймить по одному факту.

Всего: 369