Держу на Хетцнере сайт уже несколько лет, посещаемость до 200тыс. человек в сутки.
Хетцнер - это полуфабрикат, который нужно уметь готовить.
Умеете готовить - все будет довольно гладко, за самую низкую цену в данной отрасли.
Недостаток Хетцнера - он не предоставляет серверов на бронзовом шасси с золотыми дисками и подачей электропитания через теплые ламповые трансформаторы.
А по признанию некоторых обитателей searchengines.ru, без этого невозможно хостить коммерческие сайты.
zzzit: Это не SQL запросы, а события апдейтов, он их все выполняет. И если пришло событие удалить таблицу - он ее удалит. Он не копирует к себе бинлог, а именно применяет. Можете проверить.
Стандартный mysql replication server так и делает - все выполняет.
Но, как я уже писал, в 5.6 добавили новую фичу - копирование логов в реальном времени, без выполнения. Ссылки я уже дал. И пишу это уже в 3-й раз.
zzzit: Как это вы так много лет занимаетесь и не понимаете, как mysql работает?
А сколько лет назад вас учили в школе чтению, и почему вы до сих пор читать не научились?
zzzit: И там все правильно написано real-time back-up - это и есть копия базы в текущий момент, а не в любой момент времени, т.е. откатиться на день никак нельзя.
А вот и можно :)
Теперь там есть опция - репликация с задержкой.
Можно поставить задержку на час.
И если кто-то случайно дропнул таблицу, этот дроп можно выкусить из бинлогов. И в репликацию это событие не попадет.
Да, и real-time backup - это не копия базы на текущий момент. Это именно инкрементальный бекап, где можно выбрать время на которое откатиться, убрать какое-то событие и т.п.
Так что там с правильными базами? Ссылку-то дадите?
Как в течении 90 дней делать инкрементальный бекап, который быстро восстанавливается?
zzzit: Это вы предлагаете бинлог для бэкапов приспособить.
Я предлагаю?
Еще раз цитирую официальную документацию из mysql: These binary logs are the incremental backup
Если вы по-английски не можете читать: "Эти бинарные логи и есть инкрементальный бекап".
zzzit: Но я расскажу, так и быть. Бэкап - не репликация.
Зачем мне ваша банальщина? :) Я этим уже много лет занимаюсь.
zzzit: Он нужен для ситуаций, когда какие-то данные потерлись, например был послан запрос, который удалил полностью какую-то отдельную часть данных, например таблицу, если это sql база данных, этот же запрос успешно выполниится на вашем маломощном сервере-реплике и вы останитесь без таблицы на обоих серверах.
Вы ничего не поняли.
Маломощный сервер-реплика никаких запросов не выполняет. Удалить он ничего не может.
Все что он делает - копирует к себе бинлог в реальном времени.
То есть по определению из документации выше, это инкрементальный бекап данных в реальном времени.
zzzit: Так это не для бэкапа, а для репликации, в нем будут все повторяющиеся апдейты присутствовать, зачем их в бэкап ложить? Конечно такое будет долго рековэриться, все апдейты за все существование проекта нужно будет выполнить за раз.
Это и для бекапа, и для репликации.
Именно так в mysql делается инкрементальный бекап.
Читайте там по ссылке: These binary logs are the incremental backup
Причем в mysql 5.6, например, добавили режим работы сервера-реплики, когда он ничего кроме записи бинлогов не делает - это чтобы бекапы сами по себе писались в realtime на маломощном сервере каком-нибудь.
А вы предлагаете вручную делать select * from table where update_time > "вчера" для каждой таблицы? :)
zzzit: Экспортировать из базы данные за день в какой-то структурированный формат, как их еще из большой базы достать-то. Если это sql база, то можно экспортировать в sql формат.
В mysql ничего экспортировать не надо. Он сам именно это и делает, пишет бинлог.
Так вот, бинлог за 3 месяца в зависимости от интенсивности апдейтов может восстанавливаться 1 неделю, а может 1 месяц.
hetzner ex40 на сегодня нормально работает или нет? Многочисленные жалобы на падения
Я бы пока не заказывал, производитель им высылает очередные версии биосов.
Вот iostat -xm 5 с сервера с сайтом, SSD:
1500 чтений, 300 записей в секунду - одновременно
При этом время ожидания 0.3 миллисекунды.
И SSD загружен меньше чем на 40%.
Вот соберите и покажите нам hdd-массив, который такое сможет.
Понадобится штук 20 sata-дисков, они будут загружены почти полностью, и время доступа будет на 1-2 порядка выше.
На всякий случай: "бекап-провайдеры", предоставляющие место на диске с доступом типа ftp или rsync - не надежны.
Потому что при взломе вашего сервера получат доступ также и к вашим бекапам, могут их просто удалить.
Для надежного бекапа: сервер не должен иметь к нему доступ.
Бекап должен быть на отдельной vps или dedicated - и эта машина должна сама заходить на сервер и забирать файлы по расписанию.
Как не готовь полуфабрикат, и какой он вкусный не будет, заканчивается все одинаково - язвой или чем то похожим. Вопрос времени.
Ну вот все не заканчивается никак.
Вопрос времени - а что будет, просветите? В худшем случае все бекапы есть снаружи.
В начале были проблемы с падающими винтами, потом я понял что с этим делать.
Держу на Хетцнере сайт уже несколько лет, посещаемость до 200тыс. человек в сутки.
Хетцнер - это полуфабрикат, который нужно уметь готовить.
Умеете готовить - все будет довольно гладко, за самую низкую цену в данной отрасли.
Недостаток Хетцнера - он не предоставляет серверов на бронзовом шасси с золотыми дисками и подачей электропитания через теплые ламповые трансформаторы.
А по признанию некоторых обитателей searchengines.ru, без этого невозможно хостить коммерческие сайты.
Это не SQL запросы, а события апдейтов, он их все выполняет. И если пришло событие удалить таблицу - он ее удалит. Он не копирует к себе бинлог, а именно применяет. Можете проверить.
Стандартный mysql replication server так и делает - все выполняет.
Но, как я уже писал, в 5.6 добавили новую фичу - копирование логов в реальном времени, без выполнения. Ссылки я уже дал. И пишу это уже в 3-й раз.
Как это вы так много лет занимаетесь и не понимаете, как mysql работает?
А сколько лет назад вас учили в школе чтению, и почему вы до сих пор читать не научились?
И там все правильно написано real-time back-up - это и есть копия базы в текущий момент, а не в любой момент времени, т.е. откатиться на день никак нельзя.
А вот и можно :)
Теперь там есть опция - репликация с задержкой.
Можно поставить задержку на час.
И если кто-то случайно дропнул таблицу, этот дроп можно выкусить из бинлогов. И в репликацию это событие не попадет.
Да, и real-time backup - это не копия базы на текущий момент. Это именно инкрементальный бекап, где можно выбрать время на которое откатиться, убрать какое-то событие и т.п.
Так что там с правильными базами? Ссылку-то дадите?
Как в течении 90 дней делать инкрементальный бекап, который быстро восстанавливается?
Это вы предлагаете бинлог для бэкапов приспособить.
Я предлагаю?
Еще раз цитирую официальную документацию из mysql: These binary logs are the incremental backup
Если вы по-английски не можете читать: "Эти бинарные логи и есть инкрементальный бекап".
Но я расскажу, так и быть. Бэкап - не репликация.
Зачем мне ваша банальщина? :) Я этим уже много лет занимаюсь.
Он нужен для ситуаций, когда какие-то данные потерлись, например был послан запрос, который удалил полностью какую-то отдельную часть данных, например таблицу, если это sql база данных, этот же запрос успешно выполниится на вашем маломощном сервере-реплике и вы останитесь без таблицы на обоих серверах.
Вы ничего не поняли.
Маломощный сервер-реплика никаких запросов не выполняет. Удалить он ничего не может.
Все что он делает - копирует к себе бинлог в реальном времени.
То есть по определению из документации выше, это инкрементальный бекап данных в реальном времени.
http://dev.mysql.com/tech-resources/articles/whats-new-in-mysql-5.6.html
Remote Binlog Back-up
Enhances operational efficiency by using the replication channel to create real-time back-ups from the binary log.
By adding a raw flag, the binlog is written out to remote back-up servers, without having a MySQL database instance translating it into SQL statements
А то что mysql полон всякой неадекватчины - это мы в курсе, на их решения нужно смотреть
О ну так просветите нас, как в правильных базах это делают? :)
Только, пожалуйста, ссылку на ресурс, а не словоблудие.
Так это не для бэкапа, а для репликации, в нем будут все повторяющиеся апдейты присутствовать, зачем их в бэкап ложить? Конечно такое будет долго рековэриться, все апдейты за все существование проекта нужно будет выполнить за раз.
Это и для бекапа, и для репликации.
Именно так в mysql делается инкрементальный бекап.
Читайте там по ссылке: These binary logs are the incremental backup
Причем в mysql 5.6, например, добавили режим работы сервера-реплики, когда он ничего кроме записи бинлогов не делает - это чтобы бекапы сами по себе писались в realtime на маломощном сервере каком-нибудь.
А вы предлагаете вручную делать select * from table where update_time > "вчера" для каждой таблицы? :)
Какие бинлоги?
http://dev.mysql.com/doc/refman/5.5/en/backup-methods.html - раздел Making Incremental Backups by Enabling the Binary Log
Экспортировать из базы данные за день в какой-то структурированный формат, как их еще из большой базы достать-то. Если это sql база, то можно экспортировать в sql формат.
В mysql ничего экспортировать не надо. Он сам именно это и делает, пишет бинлог.
Так вот, бинлог за 3 месяца в зависимости от интенсивности апдейтов может восстанавливаться 1 неделю, а может 1 месяц.
А как без инкрементальных бэкапить? 300 гиг каждый день заливать?
А как бекапить базу где данные скомпрессиваны?
Если 90 дней заливать только бинлоги, то потом на восстановление только уйдет порядка недели.
Да и бинлоги эти окажутся в разы больше полного бекапа.
EDIT: для любых данных старше 3 месяцев за удаление не берется
Да, и это означает, что надо копить все что загрузил в течении 3 месяцев.