Поддержка монтирования ploop дисков без OpenVZ ядра

12
Pavel.Odintsov
На сайте с 13.05.2009
Offline
169
1206

Всем привет!

Возможно кому-то будет интересен наш проект по реализации read-only версии утилиты для чтения дисков в формате OpenVZ ploop на любом ядре: https://github.com/FastVPSEestiOu/ploop_userspace

Написано на С++, компилируется почти везде, поддерживает как ploop v1, так и ploop v2.

Зачем оно может пригодиться? Например, извлечь содержимое диска на машине без OpenVZ ядра или смонтировать блочное устройство на удаленной машине, чтобы выполнить инкрементальный бэкап.

Версия с поддержкой записи, полагаю, реализуема, но пока мне, честно говоря, очень страшно лезть в формат хранения, так как механизмы выделения блоков BAT и их ремаппинга мне не совсем понятны.

Решение по обнаружению DDoS атак для хостинг компаний, дата центров и операторов связи: FastNetMon (https://fastnetmon.com)
kxk
На сайте с 30.01.2005
Offline
990
kxk
#1

Pavel.Odintsov, Отличная утилита, спасибо Павел

Ваш DEVOPS
Pavel.Odintsov
На сайте с 13.05.2009
Offline
169
#2
kxk:
Pavel.Odintsov, Отличная утилита, спасибо Павел

Спасибо за спасибо :)

Glueon
На сайте с 26.07.2013
Offline
172
#3

Действительно, спасибо за утилиту.

Но вопрос смежный - активно в продакшене используте у себя ploop? По производительности в целом и производительности бэкапа это лучше традиционного решения?

Есть много IP-сетей в аренду под прокси, парсинг, рассылки (optin), vpn и хостинг. Телега: @contactroot ⚒ ContactRoot команда опытных сисадминов (/ru/forum/861038), свой LIR: сдаем в аренду сети IPv4/v6 (/ru/forum/1012475).
Pavel.Odintsov
На сайте с 13.05.2009
Offline
169
#4

Glueon, лучше в обоих случаях, но очень требовательно к работе железа - то есть ECC, RAID с батарейкой, хорошо резервированное питание - нужно обязательно. А также, разумеется, никаких flashcache/bcache и прочих - убьет данные, почти гарантированно.

N
На сайте с 06.05.2007
Offline
419
#5

Pavel.Odintsov, не понятна суть явления. каким именно образом данные приходят в негодность ?

Кнопка вызова админа ()
pupseg
На сайте с 14.05.2010
Offline
364
#6
Pavel.Odintsov:
Всем привет!

Возможно кому-то будет интересен наш проект по реализации read-only версии утилиты для чтения дисков в формате OpenVZ ploop на любом ядре: https://github.com/FastVPSEestiOu/ploop_userspace

Написано на С++, компилируется почти везде, поддерживает как ploop v1, так и ploop v2.

Зачем оно может пригодиться? Например, извлечь содержимое диска на машине без OpenVZ ядра или смонтировать блочное устройство на удаленной машине, чтобы выполнить инкрементальный бэкап.

Версия с поддержкой записи, полагаю, реализуема, но пока мне, честно говоря, очень страшно лезть в формат хранения, так как механизмы выделения блоков BAT и их ремаппинга мне не совсем понятны.

садись, браза, пять!

и за чтение спасибо.

---------- Добавлено 15.09.2014 в 19:07 ----------

netwind:
Pavel.Odintsov, не понятна суть явления. каким именно образом данные приходят в негодность ?

netwind, Паша, хайль! как дела ?

ТС, тот же вопрос кстати

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).
Pavel.Odintsov
На сайте с 13.05.2009
Offline
169
#7
netwind:
Pavel.Odintsov, не понятна суть явления. каким именно образом данные приходят в негодность ?

ploop - очень простой формат, в нем нет журналирования, нет бэкапа суперблока (BAT). А суперблок - это кусок данных в начале диска в 1Мб.

Если туда будет идти запись и в это время вырубится питание, то он повредится и вся тушка придет в негодность, так как только в BAT хранится маппинг между виртуальными секторами и реальным их положением в образ-файле.

Как воркэраундом может быть вариант - бэкапить суперблок самостоятельно или, в иделае, бэкапить тушки целиком, всегда.

Andreyka
На сайте с 19.02.2005
Offline
822
#8

Угу, вот только что имел радость в виде убитого lvm на котором были плупы

LVM собрался, плупы - нет

Не стоит плодить сущности без необходимости
Pavel.Odintsov
На сайте с 13.05.2009
Offline
169
#9

Да, ситуацию еще может усугубить fsck. Он может решить пойти подправить немного экстентов, на которых лежит ploop, а так как это не простые файлы, для которых повреждение нескольких блоков можно пережить - все разлетается.

N
На сайте с 06.05.2007
Offline
419
#10
Pavel.Odintsov:
Если туда будет идти запись и в это время вырубится питание, то он повредится и вся тушка придет в негодность, так как только в BAT хранится маппинг между виртуальными секторами и реальным их положением в образ-файле.

не понятно почему именно кеши усиливают вероятность, а хардверные рейды нет. Вы же не читаете данные в обход кешей ? Если flashcache сделан как устройство dm, как вообще можно прочитать мимо ? там же почти всегда что-то несовместное.

Или дело только в том, что с кешами плотность размещения VPS еще больше и операций записи больше?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий