Как архивировать и передавать данные одновременно (без записи на диск)?

netwind, можно полностью строку?

DenisVS, ну хоть так попробуйте :

tar -cz /etc/ > /tmp/123.tar.gz

может быть вместе с ssh что-то подпортили

Странно) Разархивировалось абсолютно также и размер конечной папки такой же... (на 3 мб больше).

tar -cf - test/ | gzip -9 | ssh root@ip -p 22 dd of=/tmp/tmp.tar.gz

а нужно ли сжимать данные вообще? 150 гигов это явно чтото большое, типа аудио/видео и прочее несжимаемое. паковать в .tar без сжатия, меньше нагрузка на сервер будет.

И разве tar при сжатии не создает временные промежуточные файлы немалых размеров?

если файлов не так много, может с бекапного сервера вгетом рекурсивно по фтп качать?

Больше 30000 файлов, архивы (бэкапы) по 30 ГБ парочка и несколько распакованных папок. По wget с удовольствием скачал бы, но места не хватит поместить это всё в один архив. Даже делать под каждую папку распакованную новый архив тоже места не хватит. Всё забито под завал. Это бэкапы, где остались нужные папки.

Наверно надо комплексно решать задачу. Что-то скопировать через rsync, что-то можно положить на подмонтированный через sshfs диск. 150 гигабайт много для передачи одним потоком, связь может порваться.

Кстати, gzip и bzip2 это хорошо, но 7-zip dj многих случаях сильнее жмёт, и поточный режим у него есть.

Еще вариант FUSE sshfs юзаюзать

сделать mount dir и в нее архивировать

кстати да, просто и удобно, тоже часто sshfs юзаю.

При использовании sshfs я не смогу узнать когда завершится передача данных, а также нужно будет вручную каждый файлик проверить, полностью ли он вообще сохранился.