Перенос большого обема файлов на другой сервер

12
iccup
На сайте с 01.05.2016
Offline
195
1467

Хочу взять сервер 4 Tb для того что бы перенести на него 2 Tb файлов. В основном это картинки, с какими трудностями я столкнусь, реально ли это?

kimsufi.com ( https://www.kimsufi.com ) очень дешевые и качественные дедики https://clck.ru/gvF9p - антибот, использую уже 3 года.
Mik Foxi
На сайте с 02.03.2011
Offline
1076
#1

rsync справится легко. если там не 100500 файлов в одной директории. но собственно если и 100500, то тоже лучше варианта не найти.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
D
На сайте с 28.06.2008
Offline
1101
#2

Я и поболее переносил с помощью команды mc

Сервера были оба в Германии (хоть и разные хостеры) скорость была около 100 мб/сек

Но быстрее все же будет сделать архив и перести его - чем отдельно каждый файл.

edogs software
На сайте с 15.12.2005
Offline
775
#3
Dram:
Но быстрее все же будет сделать архив и перести его - чем отдельно каждый файл.

Лучший вариант. По файлам долго и можно накосячить. Архив надежнее.

Но с учетом объема, лучше в несколько этапов, архивами по 0.5-1тб, что бы гарантированно не было проблем с местом.

Разработка крупных и средних проектов. Можно с криптой. Разумные цены. Хорошее качество. Адекватный подход. Продаем lenovo legion в спб, дешевле магазинов, новые, запечатанные. Есть разные. skype: edogssoft
pupseg
На сайте с 14.05.2010
Offline
347
#4

для этого предназначен rsync в многопоточном режиме с контролем целостности файлов.

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).
Mik Foxi
На сайте с 02.03.2011
Offline
1076
#5
Dram:

Но быстрее все же будет сделать архив и перести его - чем отдельно каждый файл.

Нет, это будет на порядки дольше, т.к. картинки не сожмутся, т.е. объем передаваемых данных не уменьшатся. На обычных hdd (врятли у тс ssd таких размеров) запаковка/заспаковка займет хз сколько дней.

---------- Добавлено 20.06.2018 в 13:48 ----------

edogs:
Лучший вариант. По файлам долго и можно накосячить. Архив надежнее.
Но с учетом объема, лучше в несколько этапов, архивами по 0.5-1тб, что бы гарантированно не было проблем с местом.

rsync с файлами не накосячит, он контролирует целостность, а вот побить 1 большой архив, который будет неделю передаваться - вероятность очень высокая, я б даже сказал гарантированно побьется.

по 1,5 тб картинок рсинком копировал и потом синхронизировал вообще без проблем.

edogs software
На сайте с 15.12.2005
Offline
775
#6
pupseg:
для этого предназначен rsync в многопоточном режиме с контролем целостности файлов.

Но те кто им сможет с уверенностью правильно воспользоваться - таких топиков не создают. Архив проще и для одного переноса более подходит ввиду этого.

foxi:
побить 1 большой архив, который будет неделю передаваться - вероятность очень высокая, я б даже сказал гарантированно побьется.

Побить архив. 2тб неделю передаваться. В отдалении послышался звук диалапа, пахнуло 90-тыми:)

На самом деле если бы у ТС это была не разовая задача - мы бы согласились, но для разовой задачи - архив проще и надежнее.

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#7

edogs, ТС ничего не писал про выделенный гб/с на обоих серверах. Зато из того что он хочет взять всего лишь 4 тб диск есть подозрение, что сейчас 2 тб данных лежат на диске поменьше, а значит там нету еще лишних 3 тб диска для создания архива и временных файлов.

D
На сайте с 28.06.2008
Offline
1101
#8
foxi:
Нет, это будет на порядки дольше, т.к. картинки не сожмутся, т.е. объем передаваемых данных не уменьшатся. На обычных hdd (врятли у тс ssd таких размеров) запаковка/заспаковка займет хз сколько дней.

Будет однозначно быстрее, проверено много раз. Смысл ведь не в том чтобы уменьшить размер, а в том - чтобы не делать запросы на прием/передачу для каждого из много тысяч файлов.

Запаковка 25 гигов вот букально недавно командой tar -cvf 1.gz /var/www заняло примерно 15 минут.

Повторюсь - смысл не сжать, а объединить!

_
На сайте с 24.03.2008
Offline
381
#9

Не очень понятно как получить выигрышь в скорости при архивации по сравнению с многопоточным решением. С многопоточным ограничивает обычно пропускная способность канала... от архивирования фоток она больше не станет.

Открывать файлы со стороны "отсылки", и создавать их там где они должны оказаться придется по-любому. Только времени на переписывание в архив и из него потеряете...

iccup
На сайте с 01.05.2016
Offline
195
#10

места, действительно, нет для создания архива. rsync использовал когда-то, там было около 500 Гб. Сейчас сайты разрослись и решил подстраховаться спросив совета. Буду пробовать.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий