Бекап и копирование больших сайтов (> 100 гигов)

Владимир
На сайте с 10.07.2006
Offline
154
860

Подскажите, уважаемые, как решаете подобные задачи. Есть сайт с объемом базы MySQL в 5 гигов, объёмом контента под 70 гигов, и скоростью роста этого хозяйства порядка 5 гигов в месяц.

В настоящий момент бекап реализован стандартным образом - делается дамп MySQL, архивируется RARом, так же RARом архивируется контент и скачивается на локальный сервер.

Проблема в том что уже сейчас это занимает 7-8 часов времени + 3 часа на скачивание бекапа и довольно сильно нагружает сервер. Через год-другой бекап за сутки просто будет сделать невозможно.

Делать инкрементальные бекапы пока не сподобился, т.к. во-первых, руками это гораздо сложнее правильно организовать, во-вторых, в случае чего развернуть гораздо дольше, в-третьих, для инкрементального всё равно нужен базовый полный бекап хотя бы ежемесячно.

Вопросы: как решаются подобные проблемы? Какой есть софт с плюсами и минусами? Как насчёт мультиплатформ (сам сайт лежит на UBUNTU, а на домашнем сервере, где идет разработка и куда сохраняются данные, Windows)?

Joker-jar
На сайте с 26.08.2010
Offline
167
#1

Если нет необходимости иметь несколько бекапов разного возраста, то можно "синхронизировать" копии, например, через rsync. Ну, или как вариант (просто пришел в голову, на практике не сталкивался), делать копию сразу при добавлении контента.

Doroshev
На сайте с 21.01.2010
Offline
186
#2

У меня выделенный сервер. 4Гб ОЗУ, проц не помню, но не самый мощный. Стоимость сервера 59$ в месяц. Делает бэкап примерно такие же, хотя наверное даже больше по сумме всех сайтов. И ничего, нормально справляется.

Владимир
На сайте с 10.07.2006
Offline
154
#3

Doroshev, нормально справляется за какое время? И на работе сайтов это не отражается?

У меня подтормаживает, а с учётом того, что через какое-то время объём контента увеличится вдвое, решения принимать нужно уже сейчас. Не хочу оказаться припёртым к стенке обстоятельствами.

Alexander.n
На сайте с 04.11.2009
Offline
86
#4

Разнести как вариант mysql базу и файлы сайта на разные сервера.

Бэкапьте отдельно.

D
На сайте с 14.01.2007
Offline
153
#5

набрать на хетзнере дешёвых серверов, по паре(или больше) на каждый сервис. mysql -> master-slave, content - > rsync. в случае пушного зверька просто переключаем на рабочий сервер. на 2. уровне можно устроить load balancing, чтобы "бэкап" сервер не простаивал впустую

Mik Foxi
На сайте с 02.03.2011
Offline
1200
#6

базу бекапить как и сейчас - делать дамп, архивировать и перекидывать на другую машину, тут особо ничего не придумаешь. файлы рсинком инкрементно.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
Владимир
На сайте с 10.07.2006
Offline
154
#7
Alexander.n:
Разнести как вариант mysql базу и файлы сайта на разные сервера.
Бэкапьте отдельно.

Ну это денег стоит, кроме того почти ничего не даёт. База меньше контента на порядок. И бекапится за приемлемое время.

Dinozavr:
набрать на хетзнере дешёвых серверов, по паре(или больше) на каждый сервис. mysql -> master-slave, content - > rsync. в случае пушного зверька просто переключаем на рабочий сервер. на 2. уровне можно устроить load balancing, чтобы "бэкап" сервер не простаивал впустую

Ишь ты, профессор! Сколько непонятных слов. 😂

А не подскажите, rsync на сервере установленный много ресурсов требует? Не нашёл про него ничего в этом плане. Везде только описание как настраивать. Ведь если он постоянно сканит диски на предмет наличия новых/изменённых/удалённых файлов, это должно отражаться на общей производительности сервера?

Mik Foxi
На сайте с 02.03.2011
Offline
1200
#8

Tvolod, рсинк штука не жрущая. и работает он только тогда, когда вы его запускаете.

B2
На сайте с 10.10.2011
Offline
27
#9

Tvolod Как вариант... можно поставить второй диск в RAID и зеркалировать.

А бекапы на другой фтп (если понадобятся) делать с меньшей периодичностью.

Еще:

- разделить бекап бд и файлов по времени.

- делать бекапы ночью... когда сервер менее загружен.

- Уменьшить степень сжатия или вовсе убрать архивирование. Прилично снизит нагрузку.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий