как правильно сделать backup?

12
tco
На сайте с 13.05.2005
Offline
88
tco
2882

Всем привет,

На сервере хранятся загруженные пользователями картинки (несколько десятков тысяч), так вот, когда я запускаю скрипт который их просто "тарит", все это продолжается полчаса, при этом на сайты находящиеся на сервере невозможно попасть, загрузка cpu 0% но лоад авераге 4

Чего делать, как жить ?

qwartyr
На сайте с 19.10.2007
Offline
40
#1

высокая нагрузка вызвана тормозами ввода-вывода на дисковых операциях.

возможно имеет смысл бекапиться на другой диск, чтобы распределить операции чтения с диска apache картинок и процесс записи бекапа.

также имеет смысл понизить приоритет tar через nice.

возможно вам будет интересен вариант бекапа через rsync - я просто не знаю какой бекап вы делаете и сколько бекапов храните

профессиональное администрирование серверов (http://www.unixsupport.ru) отзывы (http://www.free-lance.ru/users/qwartyr/opinions/) на free-lance.ru
S
На сайте с 07.05.2007
Offline
20
#2

1. делайте бэкапы по ночам

2. желательно на отдельный диск

3. и при это следя за нагрузкой (можно добавить в скрипт бэкапа мониторинг нагрузки)

4. и если файлы являются картинками (jpg/png) их сжатие ничерта не дает

tco
На сайте с 13.05.2005
Offline
88
tco
#3

Спасибо,

Второго диска нет, буду бакапить на другой сервер.

Т.е. в моем случае все эти жуткие тормоза дает диск т.к. нагрузка на процессор почти нулевая, а тотал аверейдж почти 4.

rsync - хороший выбор для ежедневного бакапа?

прошу прощения - а чем можно мониторить нагрузку на диск?

O
На сайте с 13.08.2008
Offline
26
#4
tco:

rsync - хороший выбор для ежедневного бакапа?

rsync - это очень плохой выбор для бэкапа. Хороший вариант, если есть проблемы с производительностью - за-nice-ный tar, льющий поток в netcat на другую машину, где уже ловящий netcat разворачивает все в gzip и кладет в файлик.


прошу прощения - а чем можно мониторить нагрузку на диск?

vmstat / iostat

Outsourcenow.ru: оттюним ваш веб-сервер. 100 млн. запросов в сутки - наш размерчик!
Andreyka
На сайте с 19.02.2005
Offline
820
#5

Распределенная файловая система

Плюс в том что можно делить файлы по частям и иметь некоторую избыточность для надежности

Не стоит плодить сущности без необходимости
tco
На сайте с 13.05.2005
Offline
88
tco
#6
Andreyka:
Распределенная файловая система
Плюс в том что можно делить файлы по частям и иметь некоторую избыточность для надежности

Амазон ?

S
На сайте с 07.05.2007
Offline
20
#7
rsync - это очень плохой выбор для бэкапа

типичное спорное утверждение без обоснования, обычно это свойственно малоопытным специалистам

O
На сайте с 13.08.2008
Offline
26
#8
snoopee:
типичное спорное утверждение без обоснования, обычно это свойственно малоопытным специалистам

Всюду-то вы были, все-то то вы знаете про опыт специалистов :-)

sysctl
На сайте с 01.04.2008
Offline
91
#9

На вкус и цвет все фломастеры разные, использование rsync очень даже нормальный выбор, так же как и scp, а вот гонять траф в открытом виде по nc, да еще без каких либо гарантий доставки данных очень не разумно, уже не говоря об отсутствии возможности инкрементального бэкапа.

Править домен летит Айболит. И одно только слово твердит: - DNS! DNS! DNS!
O
На сайте с 13.08.2008
Offline
26
#10
sysctl:
На вкус и цвет все фломастеры разные, использование rsync очень даже нормальный выбор, так же как и scp, а вот гонять траф в открытом виде по nc, да еще без каких либо гарантий доставки данных очень не разумно, уже не говоря об отсутствии возможности инкрементального бэкапа.

Ну, если у машины не хватает ресурсов дисковой подсистемы, городить инкрементальный бэкап с подсчетом чексум каждого файла - мягко говоря плохое решение.

Кроме того, rsync не сделает честный инкрементальный бэкап - на другой стороне будет просто копия рабочей системы, откатиться на день назад не получится.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий