Александр Фролов

Александр Фролов
Рейтинг
155
Регистрация
27.12.2007
Должность
Владелец ИТ-компании Shop2YOU
Интересы
Основатель сервиса Shop2YOU — cоздание интернет-магазинов
zexis:
На какой бюджет вы рассчитываете для создания отказоустойчивого решения?

Видимо, не очень большой, все же это оптовый интернет-магазин, а не газпром)

Однако мне нужно изучить различные архитектуры и решения, оценить бюджет и сделать предложение заказчику, а не наоборот - узнать сколько у заказчика денег и объявить об этом всем поставщикам решений. Чтобы они выставили ровно такую же цену)

Если денег хватит на решение от IBM, то хорошо, т.к. сервер приложений и MySQL можно сделать на этом решении, а при масшатбировании разносить по хостам, например, нетранзакционные данные MongoDB. А вот если денег не хватит, надо будет изучать различные предложения на базе кластера Linux и оценивать стоимость создания и сопровождения. Чем я, собственно, сейчас и пытаюсь заниматься...

Но пока мне попадаются только компании, которые либо делают кластеры на решениях Microsoft, либо не имеют опыта в создании и обслуживании кластеров MySQL.

zexis:
От какого рода отказов вы хотите защититься?

По нашему опыту, чаще всего выходят из строя диски SATA, но мы теперь их не используем. Зеркало с горячим резервом на третьем диске имеется. Была проблема и с выходим из строя блока питания, правда, не на нашем, а не арендованном сервере.

Проблем с выходом из строя вентилляторов, системных плат, памяти и сетевых интерфейсов пока не было, но хотелось бы защититься и от этого.

В идеале хотелось бы получить систему, в которой при выходе из строя целиком одного сервера работа была бы продолжена на другом. Ведь любое железо может выйти из строя, вот хотя бы перегрев при отказе кондиционеров в датацентре или случайное выдергивание шнура на одном из серверов... Опять же, плановое отключение серверов для профилактики без остановки работы системы.

Отказоустойчивость в рамках нескольких датацентров тоже интересна, но пока я не представляю себе, как сделать это для MySQL. MongoDB предоставляет такую возможность, но она не транзакционная. А в этом магазине не обойтись без использования транзакций для обработки части данных, например, данных складского учета.

Кроме того, интересно и масштабирование при росте нагрузки.

Александр Фролов добавил 06.09.2011 в 13:08

zexis:
Но здесь не обойтись без опытного специалиста на постоянной основе.

Вот да, а лучше бы компании, которая бы смогла обеспечить гарантированное обслуживание силами более чем одного специалиста, который может заболеть или уехать в отпуск.

Два года назад мы все сделали примерно за 120 000 руб., нам помогал hoster.ru, а лицензию оформил http://www.hostingconsult.ru/.

У нас, правда, маленький узел, и только телематика.

При запуске команды:

systat -netstat 3

нашел в выдаче подозрительные данные:

домен.r.http  gw2.mss.am.56235       tcp4       0   1583 LAST_ACK

домен.r.http gw2.mss.am.58460 tcp4 0 1583 LAST_ACK

Это висит уже несколько дней.

Я скопировал дамп трафика для wireshark:

tcpdump -i em0 -s 65000 -w file.cap

Однако не сумел ничего найти в дампе, имеющего отношение к хосту gw2.mss.am.

Подскажите, пожалуйста, что бы это могло быть?

Вообще администрирование серверов, как, кстати, и написание толковых инструкций - очень непростая работа. Я занимался и тем, и другим - написал несколько десятков книг по программированию и больше 20 лет программирую, администрирую серверы для Windows и FreeBSD, так что представляю себе, о чем говорю)

Если Вы хотите сэкономить деньги, а время для Вас не очень существенно, запасайтесь толстыми книгами и приготовьтесь изучать все это несколько месяцев, ходить на курсы также не помешает.

Если же Вам нужно сэкономить деньги, а времени нет, то покупайте панель ISPManager Lite, а когда возникнут проблемы, обращайтесь в форумы или в ISP System за поддержкой. Так реально будет дешевле и надежнее. Это, однако, не отменяет необходимости чтения толстых книг.

Что же касается инструкций, то не получится написать инструкции на все случаи жизни ни за какие деньги. Ситуации бывают самые разные, и даже если Вам удастся все установить по инструкции, останется еще проблема с сопровождением. Тут возможна целая куча сюрпризов - закончилось место на диске, зациклилось какое-либо приложение, Ваши сайты начали флудить или атаковать, начали подбирать пароли или успешно получили доступ без подбора паролей, сайты вдруг стали почему-то медленно работать, почта стала попадать в спам и так далее и так до бесконечности.

Никакая инструкция по проведению операции на сердце не заменит высшего медицинского образования и стажировки, и в том что касается разработки и сопровождения ИТ-проектов, ситуация ровно такая же.

Так что мои рекомендации - покупайте панель, чтобы быстро сделать работу и начинайте учиться, т.к. сама по себе панель не спасет Вас от различных неприятностей, а спасут только опыт и знания, а также помощь опытных специалистов.

Попробуйте еще Easy Recovery Studio. Только не устанавливайте его на диски, с которых пропали файлы.

Делали каталог на примерно 700000 товаров. ПО свое, перл, MySQL, memcached, Sphinx. Большую нагрузку вызывает импорт каталогов товаров из других магазинов, поэтому нужен хороший сервер, много памяти, кеш-контроллер с батарейкой и SAS-диски 15К.

Сам по себе MySQL без memcached не справляется. Опять же, на полнотекстовых запросах намного лучшие результаты дает Sphinx.

Andreyka:
Nanotik, как можно быть довольным стораджем на NFS?

В поддержке ISPSystem мне написали, что можно сделать и по-другому, но установка и сопровождение будет за доп. плату. А вообще чем плох NFS? Никогда этим не пользовался. Полагаю, на сторадже будут лежать картинки и статика для oProxy, это сильно замедлит выдачу?

Pilat:
Мне вот что непонятно... девятая страница пошла, а что за интернет-магазин такой, приносящий бешеные доходы и работающий на одном сервере - пока так и непонятно. Может и нет его? Что-то тут нечисто.

Это оптовый магазин детской обуви, доменное имя отправил через личное сообщение.

Особенность этого магазина заключается в поддержке сложных бизнес-процессов, включая складской учет в реальном времени, автоматический заказ товаров у десятков поставщиков, отображение реального наличия на витрине и т.п.

Там не только много посетителей на витрине, но и много менеджеров в офисе, которые тоже создают нагрузку.

Один сервер справляется лишь благодаря memcached, 48 Гбайт памяти, 15К дискам SAS и двум процессорам. Но, конечно, возможность масштабирования тоже интересна исходя из соображений дальнейшего развития магазина.

Никто не говорит про бешеные доходы, поэтому я и не обращаюсь к системным интеграторам с мировыми именем)

Пока больше всего склоняюсь к ISPManager Cluster, пока не нашел аналогичных предложений от компаний. Продолжаю изучать особенности кластера MySQL и разные аспекты установки и сопровождения ISPManager Cluster.

Himiko:
1. Если у вас много операций чтения (SELECT и т.п.), то может быть заметное увеличение производительности. И писать в такой связке (INSERT,UPDATE и т.п.) можно только на MASTER.
И их ещё нужно будет разделить через скрипты, либо доп. средства, чтобы случайно запись не пошла на slave.

2. Панель мало что может контроллировать. Добавление серверов и переконфигурирование тоже потребует ручного вмешательства.
Без администратора(ов) в случае с кластером вам вряд ли получится обойтись.

Да, про кластер MySQL мне еще нужно будет почитать в толстой книжке...

Например, что делать скриптам, если вылетает мастер. Насколько я понимаю, они должны будут использовать для работыы слейв, который автоматически должен стать мастером.

Насчет администраторов тут понятно, главное чтобы им не пришлось что-то делать сразу после выхода из строя сервера, и чтобы восстановительные работы можно было делать в спокойном режиме.

Всего: 343