Можно ли как-то повлиять на нагрузку во время бэкапов?

Сервера с большим количеством файлов и/или большого размера нормально бэкапить через tar czf не получится. (на всякий случае, именно так и бэкапятся по умолчанию все известные мне панели, включая cpanel, ispmanager, plesk и прочее).

Уже упомянутое тут решение от R1Soft является панацеей, впрочем бесплатная версия достаточно ограничена.

Если Вы хостинг сервер настраиваете с большим количеством сайтов и файлов, то или берите более мощный сервер или думаете о таких вот специализированных решений. Туда же можно добавить vembu и bacula4hosts.

Если сервер для себя со своими сайтами, то тут можно просто более распределенно настроить бэкапирование. Скажем, наверняка файлы у Вас меняются очень редко, их можно бэкапить редко или вовсе не бэкапить, если есть все равно локальная копия. А бэкапить только базы уже не является большой проблемой.

MIRhosting.com

получится если ssd.

для hdd приходится использовать ionice, в принципе проблема решаема.

Но это же не значит, что нужно опускать руки. Можно подменить /usr/bin/tar на другую программу понимающую те же ключи. Получится бекап в привычном формате и менее отражающийся на нагрузке. Делал я и не такое извращение.

Вообще, все средства работают до определенного соотношения объема данных и нагрузки. Так что у всех разный уровень погружения в проблему.

В отличие от обычного nice, невозможно заставить диск отменить операцию и заняться приоритетной, так что ionice тоже может не помочь.

Не менее важно "смывание" кеша. При копировании закешированные файлы заменяются в памяти на какие-то другие прочитанные программой бекапа. Этот график ТС не привел, а зря.

musitann, думаю, так более правильно снизить нагрузку:

/usr/local/ispmgr/sbin/rotate -c 2 -d 6

Или -c 1, если первый вариант не даст хорошего результата.

Запланировать на самое глухое время, я пока так справился. Часа 4 утра, когда Гитлер напал.

SSD это отдельная история. И это не решение вопроса.

ionice проблему не решает.

Расскажите как поможет ionice делать ежедневные бэкапы хостинг сервера с /home под терабайт данных.

---------- Добавлено 04.04.2013 в 04:58 ----------

Подменить то можно, вопрос на что. tar сам по себе ничего плохого не делает, и лучше него вряд ли что-то реально эту работу сделает. Да и вообще подменять tar на рабочих серверах - извращение, которое может создать хорошие проблемы.

если у ТС таки isp mgr то все уже придумадо за нас:

BackupCompress - степень сжатия архива. Допустимые значения от 1 до 9, где 1 - минимальный уровень сжатия, а 9 - максимальный. Значение по умолчанию - 6.

BackupDeleteDelay - время в часах (по умолчанию 24), через которое удаляются резервные копии пользователя после его удаления.

BackupPrior - приоритет для процесса pbackup и всех порождаемых им процессов. Допустимы значения от 0 до 19. Чем больше число, тем с меньшим приоритетом выполняется процесс. Значение по умолчанию - 0.

BackupIOClass - класс приоритета ввода-вывода для процесса pbackup и всех порождаемых им процессов. Допустимы значения от 1 до 3, где 1 - класс приоритета реального времени (realtime), 2 - средний уровень (best effort, устанавливается по умолчанию), 3 - минимальный (idle). Используется только для операционных систем семейства Linux.

BackupIOClassData - приоритет ввода-вывода для процесса pbackup и всех порождаемых им процессов. Допустимы значения от 0 до 7. Чем меньше цифра, тем выше приоритет. Приоритет устанавливается, только если класс приоритета установлен равным 1 или 2. Значение по умолчанию 7. Используется только для операционных систем семейства Linux.

BackupTempDir - директория для временных файлов при резервном копировании либо импорте пользователя. По умолчанию используется /tmp.

BackupThreshold - порог занятого места в системе (в процентах), при превышение которого pbackup прерывает свою деятельность. Перед началом операции резервного копирования производится проверка доступного места во временной локальной директории и в директории, где будет сохранен архив (только для локального хранилища). Кроме того для операции восстановления, если требуется загрузка архива из удаленного хранилища во временную локальной директорию, в ней также будет проверен порог занятого места. Все проверки осуществляются один раз в начале работы. Допустимые значения от 0 до 100 (проценты занятого места). Значение по умолчанию - 97. Для отключения функционала установите значение на ноль.

http://ru.ispdoc.com/index.php/%D0%A4%D0%B0%D0%B9%D0%BB_%D0%BA%D0%BE%D0%BD%D1%84%D0%B8%D0%B3%D1%83%D1%80%D0%B0%D1%86%D0%B8%D0%B8_ISPmanager_%28ISPmanager%29

папки с большим количеством файлов - бакапте реже, или бакапте rsync'ом, папки с avi и jpg в больших количествах и больших размеров - не бакапте, или так же бакапте сильно реже.

опять же - если у вас там много avi , например видео-сайт какой-либо - то откажитесь от бакапа средствами isp manager.

можно подменить на комплекс других программ снова запускающий tar с теми же ключами, но делающий что-то, что позволяет не смывать кеш.

лучшая бэкапилка zfs снапшоты, все бэкапится мгновенно.(для freebsd)

Я сталкивался на дешёвых VPS хостингах с ограничением на количество IOPS, возможно тут ваше "бутылочное горлышко".

2 LA это нормальный режим для сервера с двухядерным процом. Смотрите график. Среднее время генерации страниц сайта 0.03 сек в пиках до 0,3 сек. Core2Duo Е8400, 150-200 чел онлайна, 5-15 запросов в секунду + конвертация изображений.

Подключите к мунину плагин diskstats там есть полезные графики, в частности disk utilization во вложении можно посмотреть нагрузку на два WD RE4 500Gb в RAID 1 показывает "процент занятости по нагрузке на дисковую систему". Сервер тот же.

Не стоит, также, забывать, что вы не один сидите на этой дисковой системе и в 6 часов утра логротейт может делать кто-то ещё.