ThePriest

Рейтинг
90
Регистрация
10.01.2010
Lubimov:
hetzner ex40 на сегодня нормально работает или нет? Многочисленные жалобы на падения

Я бы пока не заказывал, производитель им высылает очередные версии биосов.

Вот iostat -xm 5 с сервера с сайтом, SSD:

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb 0.00 180.80 1532.00 296.40 70.41 2.48 81.64 0.64 0.35 0.36 0.29 0.21 38.96

1500 чтений, 300 записей в секунду - одновременно

При этом время ожидания 0.3 миллисекунды.

И SSD загружен меньше чем на 40%.

Вот соберите и покажите нам hdd-массив, который такое сможет.

Понадобится штук 20 sata-дисков, они будут загружены почти полностью, и время доступа будет на 1-2 порядка выше.

На всякий случай: "бекап-провайдеры", предоставляющие место на диске с доступом типа ftp или rsync - не надежны.

Потому что при взломе вашего сервера получат доступ также и к вашим бекапам, могут их просто удалить.

Для надежного бекапа: сервер не должен иметь к нему доступ.

Бекап должен быть на отдельной vps или dedicated - и эта машина должна сама заходить на сервер и забирать файлы по расписанию.

WapGraf:
Как не готовь полуфабрикат, и какой он вкусный не будет, заканчивается все одинаково - язвой или чем то похожим. Вопрос времени.

Ну вот все не заканчивается никак.

Вопрос времени - а что будет, просветите? В худшем случае все бекапы есть снаружи.

В начале были проблемы с падающими винтами, потом я понял что с этим делать.

Держу на Хетцнере сайт уже несколько лет, посещаемость до 200тыс. человек в сутки.

Хетцнер - это полуфабрикат, который нужно уметь готовить.

Умеете готовить - все будет довольно гладко, за самую низкую цену в данной отрасли.

Недостаток Хетцнера - он не предоставляет серверов на бронзовом шасси с золотыми дисками и подачей электропитания через теплые ламповые трансформаторы.

А по признанию некоторых обитателей searchengines.ru, без этого невозможно хостить коммерческие сайты.

zzzit:
Это не SQL запросы, а события апдейтов, он их все выполняет. И если пришло событие удалить таблицу - он ее удалит. Он не копирует к себе бинлог, а именно применяет. Можете проверить.

Стандартный mysql replication server так и делает - все выполняет.

Но, как я уже писал, в 5.6 добавили новую фичу - копирование логов в реальном времени, без выполнения. Ссылки я уже дал. И пишу это уже в 3-й раз.

zzzit:
Как это вы так много лет занимаетесь и не понимаете, как mysql работает?

А сколько лет назад вас учили в школе чтению, и почему вы до сих пор читать не научились?

zzzit:
И там все правильно написано real-time back-up - это и есть копия базы в текущий момент, а не в любой момент времени, т.е. откатиться на день никак нельзя.

А вот и можно :)

Теперь там есть опция - репликация с задержкой.

Можно поставить задержку на час.

И если кто-то случайно дропнул таблицу, этот дроп можно выкусить из бинлогов. И в репликацию это событие не попадет.

Да, и real-time backup - это не копия базы на текущий момент. Это именно инкрементальный бекап, где можно выбрать время на которое откатиться, убрать какое-то событие и т.п.

Так что там с правильными базами? Ссылку-то дадите?

Как в течении 90 дней делать инкрементальный бекап, который быстро восстанавливается?

zzzit:
Это вы предлагаете бинлог для бэкапов приспособить.

Я предлагаю?

Еще раз цитирую официальную документацию из mysql: These binary logs are the incremental backup

Если вы по-английски не можете читать: "Эти бинарные логи и есть инкрементальный бекап".

zzzit:
Но я расскажу, так и быть. Бэкап - не репликация.

Зачем мне ваша банальщина? :) Я этим уже много лет занимаюсь.

zzzit:
Он нужен для ситуаций, когда какие-то данные потерлись, например был послан запрос, который удалил полностью какую-то отдельную часть данных, например таблицу, если это sql база данных, этот же запрос успешно выполниится на вашем маломощном сервере-реплике и вы останитесь без таблицы на обоих серверах.

Вы ничего не поняли.

Маломощный сервер-реплика никаких запросов не выполняет. Удалить он ничего не может.

Все что он делает - копирует к себе бинлог в реальном времени.

То есть по определению из документации выше, это инкрементальный бекап данных в реальном времени.

http://dev.mysql.com/tech-resources/articles/whats-new-in-mysql-5.6.html


Remote Binlog Back-up

Enhances operational efficiency by using the replication channel to create real-time back-ups from the binary log.

By adding a raw flag, the binlog is written out to remote back-up servers, without having a MySQL database instance translating it into SQL statements
zzzit:
А то что mysql полон всякой неадекватчины - это мы в курсе, на их решения нужно смотреть

О ну так просветите нас, как в правильных базах это делают? :)

Только, пожалуйста, ссылку на ресурс, а не словоблудие.

zzzit:
Так это не для бэкапа, а для репликации, в нем будут все повторяющиеся апдейты присутствовать, зачем их в бэкап ложить? Конечно такое будет долго рековэриться, все апдейты за все существование проекта нужно будет выполнить за раз.

Это и для бекапа, и для репликации.

Именно так в mysql делается инкрементальный бекап.

Читайте там по ссылке: These binary logs are the incremental backup

Причем в mysql 5.6, например, добавили режим работы сервера-реплики, когда он ничего кроме записи бинлогов не делает - это чтобы бекапы сами по себе писались в realtime на маломощном сервере каком-нибудь.

А вы предлагаете вручную делать select * from table where update_time > "вчера" для каждой таблицы? :)

zzzit:
Какие бинлоги?

http://dev.mysql.com/doc/refman/5.5/en/backup-methods.html - раздел Making Incremental Backups by Enabling the Binary Log

zzzit:
Экспортировать из базы данные за день в какой-то структурированный формат, как их еще из большой базы достать-то. Если это sql база, то можно экспортировать в sql формат.

В mysql ничего экспортировать не надо. Он сам именно это и делает, пишет бинлог.

Так вот, бинлог за 3 месяца в зависимости от интенсивности апдейтов может восстанавливаться 1 неделю, а может 1 месяц.

zzzit:
А как без инкрементальных бэкапить? 300 гиг каждый день заливать?

А как бекапить базу где данные скомпрессиваны?

Если 90 дней заливать только бинлоги, то потом на восстановление только уйдет порядка недели.

Да и бинлоги эти окажутся в разы больше полного бекапа.

zzzit:
EDIT: для любых данных старше 3 месяцев за удаление не берется

Да, и это означает, что надо копить все что загрузил в течении 3 месяцев.

Всего: 288