- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
CDP от R1SOFT
Хотя стоп, а общее число файлов какое? Тут нагрузку создает не число измененных файлов, а число контролируемых.
Общее количество миллион и выше. А изменяющихся из них в сутки (между синхронизациями) - 2 - 10 тысяч.
Может, имеет смысл подсократить как-то?
Неа, сократить - никак :)
Общее количество миллион и выше. А изменяющихся из них в сутки (между синхронизациями) - 2 - 10 тысяч.
Могу только порекомендовать попробовать натравить inotify на эту папку и последить за системой, теорией здесь далеко не уйдешь.
Как предложили выше, альтернативный вариант уже встроен во все ядра и называется inotify. Беглый поиск оп репо Дебияна выдает ряд интересных решений:
Это мягко говоря, не альтернативный вариант - а инструмент совершенно для других задач. Там по оригинальной ссылке упоминали про inotify и "зачем оно надо, этот патч".
И в inotify нет рекурсии. Нужно натравливать его конкретно, на все директории, потенциально входящие в бекап.
CDP от R1SOFT
Так, теперь понятно - конкретный продукт, конкретные технологии. Но, какое к этому отношение имеет словосочетание "теневое копирование" - Вы так и не пояснили. Так какое? Определением этого служит "то что делает CDP"?
Это мягко говоря, не альтернативный вариант - а инструмент совершенно для других задач. Там по оригинальной ссылке упоминали про inotify и "зачем оно надо, этот патч".
И в inotify нет рекурсии. Нужно натравливать его конкретно, на все директории, потенциально входящие в бекап.
C inotify как раз решение хорошее, если действительно меняется 10000 файлов в сутки.
А по теме топика - я бы всё-таки попробовал ещё понять, почему миллион файлов так долго синхронизируется (часы). Может быть там md5 суммы вычисляются, это нужно далеко не всегда, и это можно отключить почти для всех типов файлов.
Так, теперь понятно - конкретный продукт, конкретные технологии. Но, какое к этому отношение имеет словосочетание "теневое копирование" - Вы так и не пояснили. Так какое? Определением этого служит "то что делает CDP"?
Делает бекап на основе анализа изменений файлов налету
Если покупать агент за 349 долларов на одну машину, то дешевле и намного купить сервер помощнее, который справится с rsync. Вот если это энтерпрайз, то такие деньги тратятся сравнительно легко.
И CDP - это не теневое копирование, это теневой сбор информации об обновлениях.
А по теме топика - я бы всё-таки попробовал ещё понять, почему миллион файлов так долго синхронизируется (часы). Может быть там md5 суммы вычисляются, это нужно далеко не всегда, и это можно отключить почти для всех типов файлов.
Вы имеете в виду опцию -I? Её я не включал принудительно.
Предлагаю 2 варианта.
1) Если общий размер файловой структуры не большой,
может быть стоит делать LVM снапшот? и его потом бэкапить dump'ом? или на худой конец dd
2) Настроить drbd зеркало?