Как синхронизировать файл 100Гб ?

Что там развалится, если оно будет только для синхронизации использоваться? Автору, как видно, только файл синхронизировать нужно.

А инкрементальный бэкап Ceph RBD умеет.

Мне надо перенести большой файл с одного сервера на другой, быстро. Я это уже сделал медленно. Но технологию всё же хочу разработать - задача-то типовая.

пробовал xdelta?

https://github.com/jmacd/xdelta

PS

Я не пробовал, просто беглая гуглежка.

---------- Добавлено 18.12.2015 в 07:57 ----------

Если я правильно понял, тебе на source надо хранить старый файл,измененный файл. Из них при помощи xdelta получаешь patch. Применяешь patch на destination, получаешь измененный файл.

Её кто только не пробовал, но ей нужно два файла, чтобы построить разницу.

Мне сейчас приходит в голову, что в случае с образами виртуальных машин надо сделать программу, проверяющую контрольные суммы блоков, и передающую изменённые блоки. Разница по сравнению с rdiff - можно надеяться, что нет вставки в середину файла с увеличением размера. То есть можно хранить контрольные суммы для блоков и сверяться с ними при поиске обновлений. Это даже распараллелить можно.

https://github.com/egorFiNE/bigsync/ не пробовали?

Как раз хранит контрольные суммы блоков.

Да, что-то подобное. Если бы он ещё был стандартной утилитой..

А в чем проблема на source хранить последнюю версию файла переданную на destination?