вопрос по Round-Robin DNS

Есть несколько клиентов, которые это используют. Все - крупные проекты (для других это не имеет смысла). Один из проектов - топовый продавец софта для андроид/ios. Дать линки на проекты не могу - privacy клиентов. Но если интересно - могу провести живую демонстрацию.

С базой и файлами тем более нет сложностей, это все уже давно реализовано разными проектами, в том числе и платными с поддержкой. Да, скрипты адаптировать под это нужно, но если у клиента нет денег/возможностей адаптировать свои скрипты с учетом распределения нагрузки и fail-over, то стоит у него спросить - стоит ли ему этим заниматься вообще.

Насчет приваси понимаю, вопросов не имею, я имел ввиду несколько другое, меня интересовали технологии которые были использованы а не конкретные сайты которые на них работают , я в силах оценить степень нужности софта сам :D Насчет демонстрации живой - весьма интересно, с удовольствием, только не совсем понимаю, что именно вы хотите продемонстрировать?

Базы и файлы: В базах есть собственные реализации, я уже упоминал простейшие из них выше, типа ndb cluster или репликации Master<->Master в случае SQL.... Сетевые FS тоже есть и я их тоже разбирал и изучал..... с этим так же вопросов не имею, самый основной вопрос, через какие каналы передавать эти данные? Если схема стоит в 1м шкафу я так же вопросов не имею )))) Меня интересуют распределенные решения которые реально можно распределить на 5-10 датацентров в мире и при этом не придется прокладывать 100 км кабелей между этими точками, что бы моя FS при записи 20Mb/s на нее выдавала мне 100Mb/s в сеть .... вот где вопрос основной, если есть соображения или тем более наработки - я полон внимания и готов молча внимать :D

А адаптация сайтов и софта, это само собой мое дело (дело клиента)..... тут никто и спорить не будет :D :D :D стандартные приложения мало вероятно рассчитаны даже на работу с двумя базами одновременно не говоря про что-то более сложное :D Хотя вы знаете в opensource встречал... например radius, в его конфигурации например можно указать что accounting будет храниться в базе #1, А вот session-logs (radacct) в базе номер #2, т.е простейшая балансировка уже реализована в самом демоне, он уже умеет понимать что будет >1 базы данных :D при этом все честно , разные ИП , разные базы, разные сервера физические, проверял лично ... К этому надо стремиться софтоводам IMHO ;) Наверняка в любом движке и в любом сайте 20-30% актуального контента, а остальные 70-80% это архив.... который требуется раз в 100 лет.... когда кто-то что-то из гугла там нарыл старое или просто забрел, вот разложи его на 2 базы, уже легче станет :D

Решение основано на powerdns кластере, со своим бэкендом, который делает гео-развязку (в том числе и по городам), проверяет доступность хостов и собирает статистику.

Демонстрировать имеет смысле, безусловно, если решение интересно и нужно конкретным клиентам.

По базам и файлам - все очень зависит от специфики проекта. Реалтайм репликация файлов и тем более баз не будет давать больших объемов трафика и задержек по ответам. Если же все как раз упирается в сторадж - есть cloud storage решения с bgp переброской маршрутов в случае выхода из строя какой-то ноды. Причем, стоит такое не так уж и дорого. Все зависит от проекта, универсальных решений нет.

Если хочется лишь распределять нагрузку на 2 сервера в разных ДЦ (и соответственно, fail-over) более-менее стандартного скрипта, то mysql master-master и простенький скрипт с привязкой на inotify.

Не забывать про то, что файлы сессий тоже должны храниться в базе, или же в папке скрипта.

А вообще, обращайтесь, сделаем что надо ;)

На будущее советую выделить пару тазиков под мемкеш для сессий

Ну а какова тогда пропускная у FS фактическая, я привел вам показатели glusterFS , которая при 20-30MB/s записи на FS давала 100Mb/s в сети .... я конечно понимаю что форум мало вероятно даст 20Mb/s к ФС, но все таки, есть же и более высоко нагруженные проекты чем форумы...

Не сомневаюсь и с удовольствием бы поработал с вами над аналогичным решением совместно, но ввиду того что это мало вероятно, я все же то что мне надо сделаю сам :D Но спасибо за предложение в любом случае, меня техническая сторона интересует, концепция давно ясна и думаю не только вам с нами, хочется понять грубо говоря до каких пор будет достаточно решения master<->master к примеру, и при какой интенсивности работы FS умрет конектящий её линк :D

Лучше тогда использовать haproxy

в эту сторону сейчас читаю. ожидается небывалый пик на праздники.

PS: первый раз в жизни на неоттестеной системе запускаю в бой крупный проект. обычно стадии тестирования обязательны. ну надо так надо. посмотрим что будет 1-го января. отпишусь

А чем оно лучше squid если не секрет? Я просто squid в описанной схеме использую достаточно давно и долго... как бы нареканий нет.

кеш в память кладете ? или быстрые диски\массивы?