Резервное копирование - а как это делаете вы?

12
Евгений Русаченко
На сайте с 17.04.2013
Offline
157
1371

Здравствуйте.

Проблема у нас такова, что при резервном копировании LA поднимался до 10-20 за счет высокого iowait. Проблема была в большом обилии мелких файлов у некоторых клиентов. В итоге, дело дошло до такого, что ежедневное резервное копирование не успевало выполняться.

На данный момент планируем перейти на инкрементальное резервное копирование.

Из минусов: копии не сжаты, копия хранится только за последний день, сложность передачи на удаленный сервер

До этого просто паковали в архив данные клиентов, переносили их на удаленный сервер.

У нас Cpanel и DirectAdmin, копии делаются встроенными средствами, чтобы в случае каких-то аварийных случаев делать полное восстановление данных, фактически в автоматическом режиме.

В голове просто держится примерно такая схема: понедельник - делается полная копия аккаунтов клиентов, архивируется, передается на удаленный сервер, архив удаляется с локального сервера, далее от полной копии ежедневно создаются инкрементальные копии, архивируются и также передаются на удаленный сервер.

Может быть кто-то уже уже сталкивался с подобными проблемами? Есть ли какие-то сторонние и проверенные плагины для реализации такой схемы или еще более идеальной? :)

Почта для домена ( https://lite.host/pochta/dlya-domena ) с безлимитными пользователями и доменами / Хостинг ( https://lite.host/hosting/dlya-blogov ) от 99 рублей / поддержка Let's Encrypt / PHP от 5.2 до 8.3 / SSH / бесплатный перенос,
D
На сайте с 28.06.2008
Offline
1108
#1

имеет ли в вашем случае каждый день бекапить файлы?

Я каждый день бекаплю базы, а сайты раз в неделю.

Евгений Русаченко
На сайте с 17.04.2013
Offline
157
#2
Dram:
имеет ли в вашем случае каждый день бекапить файлы?

Я каждый день бекаплю базы, а сайты раз в неделю.

Тоже верно. Но вообще, как где-то читал, держать самую актуальную версию всего где-нибудь все же стоит. Разные случаи бывают :)

AGHost
На сайте с 16.11.2011
Offline
115
#3

Для директадмина вынесите /home/tmp на другой винт, нагрузки будет меньше. Есть еще плагин dabackup, который через rsync бекапит. И вообще, странно, что iowait так скачет, скорей всего чего-то с дисками.

8 лет на рынке услуг хостинга - https://agho.st (https://agho.st)
pupseg
На сайте с 14.05.2010
Offline
364
#4

необходимо взвесить ценность тех или иных данных.

обычно бакапят скрипты и код - чаще, базы данных - чаще, какие то особо важные таблички бакапят даже каждые 20 минут. картинки - реже.

очень большие объемы данных - не бакапят. например у меня есть клиент - у которого 15Тбайт картинок. естественно их никто не бакапит никуда, ипользуется просто масштабируемая СХД и внимательно мониторится состояние НЖМД.

современные панели управления не умеют более грамотных решений бакапов, акромя засовывания в gzip\bzip - а это не самый верный способ.

если вам хочется организовать грамотную систему бакапирования, с ограничением на ресурсы машин (что бы gzip не жрал весь CPU) , то, возможно,прийдется отказаться от штатных средств бакапов через панель.

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).
Mik Foxi
На сайте с 02.03.2011
Offline
1198
#5

не совсем большие проекты - снятие дампов, архивирование файлов и на удаленный бекапный сервер,

а что далеко по сети не угонишь изза размеров - на дополнительный диск этого же сервера синхронизирую.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
M
На сайте с 30.08.2010
Offline
92
#6

Бэкапить только то, что изменилось с момента последнего бэкапа.

Евгений Русаченко
На сайте с 17.04.2013
Offline
157
#7
AGHost:
Для директадмина вынесите /home/tmp на другой винт, нагрузки будет меньше. Есть еще плагин dabackup, который через rsync бекапит. И вообще, странно, что iowait так скачет, скорей всего чего-то с дисками.

Кстати, как вариант. Так как сначала данные копируются в отдельную папку, потом с ними идет работа.

Диски хорошие, новые, меняли только в начале года. SMART тесты проходят, параметры все хорошие.

DirectAdmin, кстати, как-то более грамотно делает копии, так как на нем объем данных больше, а нагрузки фактически нет. А вот Cpanel творит чудеса.

---------- Добавлено 15.09.2013 в 13:24 ----------

pupseg:
необходимо взвесить ценность тех или иных данных.
обычно бакапят скрипты и код - чаще, базы данных - чаще, какие то особо важные таблички бакапят даже каждые 20 минут. картинки - реже.
очень большие объемы данных - не бакапят. например у меня есть клиент - у которого 15Тбайт картинок. естественно их никто не бакапит никуда, ипользуется просто масштабируемая СХД и внимательно мониторится состояние НЖМД.

современные панели управления не умеют более грамотных решений бакапов, акромя засовывания в gzip\bzip - а это не самый верный способ.
если вам хочется организовать грамотную систему бакапирования, с ограничением на ресурсы машин (что бы gzip не жрал весь CPU) , то, возможно,прийдется отказаться от штатных средств бакапов через панель.

На хостинге за клиента особо не взвесишь, что в его папках. Да и что-то для этого необходимо интересное изобретать. Да и все данные надо стараться хранить в актуальном состоянии...

У нас о надежности дисков говорить сложно, сервера стоят в Hetzner'e. С дисками там всегда беда, в следствии этого и печемся. Правда, в начале этого года, удалось добиться установки новых дисков, пока тьфу-тьфу-тьфу - все ОК.

Да, именно так панели и делают.

Спасибо, будем думать :)

---------- Добавлено 15.09.2013 в 13:26 ----------

foxi:
не совсем большие проекты - снятие дампов, архивирование файлов и на удаленный бекапный сервер,
а что далеко по сети не угонишь изза размеров - на дополнительный диск этого же сервера синхронизирую.

Дополнительный диск для нас точно не вариант. Не надежно... Помню историю с украинским ДЦ, где сгорела часть серверов - данных было не восстановить. Поэтому как-то боязно.

---------- Добавлено 15.09.2013 в 13:29 ----------

megadimon:
Бэкапить только то, что изменилось с момента последнего бэкапа.

Это и есть инкрементальные копии :)

Grohotun
На сайте с 18.02.2009
Offline
53
#8

Раз в неделю бэкапится с помощью xtrabackup + pigz и заливается в облачное хранилище Селектела (под 200Мбит/сек).

Сколько у вас оперативы свободно на сервере?

MIRhosting.com
На сайте с 18.10.2006
Offline
203
#9
Евгений Русаченко:

Может быть кто-то уже уже сталкивался с подобными проблемами? Есть ли какие-то сторонние и проверенные плагины для реализации такой схемы или еще более идеальной? :)

Есть. R1soft (Idera).

На крайний случай, Vembu или bacula4hosts.

Андрей Нестеренко, MIRhosting Облачная платформа для DevOps (https://mirhosting.com/paas)
[Удален]
#10

Евгений Русаченко, не так давно были обсуждения на эту тему хостеров. полистайте.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий