Про аутсорсинг администрирования и администраторов

Это уже зависит от программистов - как они реализовали взаимодействие.

да пофигу на программистов, т.к. по условиям задачи есть нетрансакционные контрагенты.

Рассказываю специально для начинающих админов.

Я пару лет почти самолично админил банковские сервера, так что есть чем поделиться.

Так вот:

Бекапы это конечно хорошо, но они не дают никакой гарантии стабильной работы ваших сервисов.

1. В системах с проводками порядка лимонов денег - восстановление из бекапа это очень плохо и неприветствуется ни в каком виде. Я во всяком случае неприветствовал по многим причинам.

Как вы отнесетесь к тому что банк вашу проводку в лимон денег будет "восстанавливать из бекапа"? Наверное минимум трепетно))

2. Много раз мне приходилось из-за разных причин(в том числе и "неудачное восстановление из бекапа") вручную восстанавливать целостность базы. Те когда ваши кровные лимоны "поплыли")) Типа в этой табличке записи про ваш лимон есть, а тут нету. Скажу вам честно - это очень сложная и ювелирная работа. Хотя система была мягко говоря хреновой, но чем хуже система - тем сложнее\дороже работа админа.

За несколько лет беспощадной борьбы с вашими кровными лимонами:D, подбора персонала для этих непростых занятий итд, я понял несколько простых, и в то же время важных вещей относительно администраторства.

1. Самое важное это не наличие знаний(есть гугль, или другие места где можно проконсультироваться по любому нужному вам вопросу) а умение их применять, способность\желание понимать\вникать в суть проблем, хладнокровие(признаюсь в начале своей деятельности иногда терял ваши лимоны. Было страшно но деваться было некуда:D) и другие непрямые професиональные качества.

2. Второй очень важный аспект хорошего администратора это банальные скурпулезность, аккуратность, ответственность(бывали инциденты😂) итд

Как вы понимаете цена на таких специалистов находиться несколько в другом ценовом диапазоне, чем 50-250$\мес

Резюмируя: иногда платить килобаксы админам имеет смысл.

Я видел много админов и других айтишников.

Большинство из них зарабатывают немного, но большего в общем они и не заслуживают.

В конце концов вы платите 1000$ не за один клик админа в месяц, а за то что правельный админ кликнет в нужное место, в нужное время, с нужным усилием, скажет вам в каких случаях кликать можете вы, а когда вы кликать обязаны.

Короче квалификация и отношение к поставленным задачам стоит денег. Если вашему проекту дорого\ненужны такие специалисты - я за вас искренне рад и надеюсь что вам когда нибудь придется столкнуться с вопросами качества и того, сколько это качество стоит.

Золотые слова.

Из своего опыта - биллинг провайдера. 3 сервера только с базой (оракл), пишется одновременно на все 3 сервера, физически находятся в разных концах города. При отказе одного из серверов он в спокойном режиме оживляется и база потихоньку реплицируется с оставшихся двух. Ядро биллинга - 2 сервера так же дублирующихся, работают через round-robin в днс. При выходе одного из них все продолжает работать (маршрутизатор начинает валить все на оставшийся). Физически находятся на разных этажах и в разных краях здания (на случай пожара). Системные логи со всех серверов пишутся еще на один (второй потушенный в резерве). Вебморда так же на 2 серверах по аналогии с ядром (на отдельных естессно). Питается все от гарантийки 48 вольт через инвертора + резерв 3 ввода с разных подстанций + дизель-генератор (запас солярки на неделю).

За примерно 8 лет система не останавливалась ни на секунду, хотя и сервера дохли, и SANы летели и питание пропадало и т.д.

p.s. Я не хвастаюсь, я описываю "идеальную" по моему мнению систему резервирования. По крайней мере железа. Софтовые ошибки и ошибки "блондинок" это отдельная песня.

а сколько такую махину по времени из бэкапов если что восстанавливать?:

Ну если рассматривать гипотетическую ситуацию, когда рухнуло на уровне ошибок софта, т.е. не физическая поломка, то около 20 минут для запуска минимального количества звеньев, а потом спокойно реплицируются остальные.

Забыл написать - diff бэкап баз раз в час, полный снапшот вообще всего раз в сутки (4 утра, когда минимальная нагрузка). Данные в базах хранятся за год (объем примерно 10 Тер), все что раньше - пакуется и хранится в лучших традициях и правилах бэкапов.