Pilat

Рейтинг
250
Регистрация
08.03.2007

В общем, все делятся на две категории: "почту можно и потерять", и "почту терять недопустимо". В зависимости от категории и ответы различаются.

Andreyka:
Коммерческие предложения такие люди не читают.
Удачи.

... А каптчи фигачат только в путь

---------- Добавлено 17.12.2015 в 03:36 ----------

- Дима, ты почему меня не поздравил с ДР?

- Владимир Владимирович, вчера вечером ещё отправил, может у Вас новый адрес не работает?

- Бл**ь, мне же Андрейка защиту от спама поставил. Тебе что, не приходило письмо?

- Приходило что-то, картинка какая-то, наверно спамеры назвлекаются, я её сразу стёр.

- Нехорошо как получилось... А я сгоряча нового премьера назначил...

zzzit:
Что там развалится, если оно будет только для синхронизации использоваться? Автору, как видно, только файл синхронизировать нужно.

А инкрементальный бэкап Ceph RBD умеет.

Мне надо перенести большой файл с одного сервера на другой, быстро. Я это уже сделал медленно. Но технологию всё же хочу разработать - задача-то типовая.

foxi:
не надежнее чем raid 1, но быстрее.

И надёжнее, и не быстрее.

Надёжность - выход одного диска и выход иногда двух.

Скорость записи - на все диски пишет, скорость чтения - тут может и побыстрее.

В Википедии всё это разжёвано, не понимаю, почему не посмотреть там описание или ещё где-то.

zzzit:
openssl speed md5
80% от этого производительность работы с блоками, мало?
Тормоза из-за другого.

Да мне всё равно из-за чего тормоза. Мне интересен способ быстрой синхронизации , с старой версией на приёмном конце.

zzzit:
Короче, там мутно написано, Adler32 первым делом считается на обоих сторонах и только если обе Adler32 суммы совпали, то обе стороны считают MD5 для блока.
Хотя если я ошибаюсь и там и правда зачем-то обе чексуммы считаются, то алгоритм глупый конечно :)

Кстати, MD5 тоже 500 МБ/с при 100% загрузке ядра ;)

Я рекомендую прочитать исходное описание, Википедия всё постаралась упростить, но сильно запутала.

zzzit:
Там написано, что оба и sender и recipient используют только Adler32 пока блоки разные, а MD5 только sender если блоки одинаковые.
В старом протоколе было MD4, его можно выбрать через --protocol 29 , sender будет считать быстрее одинаковые блоки (MD4 быстрее MD5). Небольшая разница будет, но не думаю, что существенная.

The recipient splits its copy of the file into chunks and computes two checksums for each chunk: the MD5 hash, and a weaker but easier to compute 'rolling checksum'.[18] It sends these checksums to the sender.

то есть всё же вычисляет обе суммы.

zzzit:
Потому что у него для rolling checksum используется и без того очень быстрый алгоритм Adler32 и если процессор перегружен, то скорее всего чем-то другим.

Adler32 используется на sender (MD5 тоже, но не для каждого блока), recipient использует MD5+Adler32. Узнал я это из статьи https://en.wikipedia.org/wiki/Rsync#Algorithm , но материал для размышлений есть. ДЕйствительно чистого времени на вычисление контрольных сумм получается меньше чем в результате раза в два-три.

netwind:
Pilat, а, извините qcow2 так и не поддерживает разбивку на части. vmware таки поддерживает.

qcow2 вообще формат не для практического использования. vmdk в варианте proxmox не разбивается на маленькие файлы - это просто не делается из его интерфейса и, скорее всего, не поддерживается сервисными утилитами. Сейчас я на raw перехожу. Мне нужно не ломать работающую систему, а думать как справиться с проблемай.

Как раз файлы очень большие - размером с виртуальный диск. Диск 100 гигабайт - значит 100. У меня 30+70. Но теперь накатила задача 500 гигабайт перенести :)

Ну как можно переразбить файл-образ? Ну можно, при некотором желании - LVM2 позволит собрать из них один том, но это не типовой сценарий.

Рещение я, конечно, найду. Но интересно иметь рабочее тупое решение - как rsync.

Всего: 2890