Геокластер из дешевых VPS

vedomir, вспомните московский блекаут, когда были проблемы с электроснабжением

интернет в России работал только на 10-20%

M9 тогда лег.

Кстати если держать резервные VPS где-нибудь в питере, новосибе итп это может помочь?

DLag

ну, про пару тысяч ты загнул :)

я всех распустил :)

чтобы Ваши резервные vps при падении M9 были доступны юзерам, надо, чтобы при падении М9 у провайдеров Ваших юзеров была связь с Вашими vps

1. можно просто поставить по серверу напрямую у каждого крупного магистрала (у всех есть либо свои ДЦ, либо ДЦ, которым они дают Интернет; но надо найти такой ДЦ, которому наши магистралы дают Интернет НЕ через М9), тогда большая часть страны будет видеть Ваши ресурсы даже при падении главной IX страны (М9)

2. еще вариант - ставить серверы на локальных точках обмена трафиком. но локальные IX сейчас работают в основном только на конкретный город/область, к тому же не все городские провайдеры к ним обычно подключены

плюс наши магистралы не занимаются пирингом на локальных IX, значит тем более никого, кроме местных провайдеров, на локальных IX не получить

еще проблема - на региональных IX / у местных провайдеров VPS хрен купишь

3. что можно сделать еще - договориться с провайдерами-агрегаторами (провайдеры, которые оптом покупают интернет сразу у многих магистралов и потом перепродают его местным провайдерам) и ставить свои серверы на их площадках. если они дадут доступ к этому серверу с магистралов, к которым подключены сами, то вы получите доступность сервера со всех магистралов, к которым подключен этот агрегатор. т.е. вроде бы то, что надо.

Проблема: у них vps тоже хрен купишь, реселлеров с vps'ками у них почти нет

отлично было бы разместить серверы у московских агрегаторов, подключенных напрямую ко всем крупным магистралам, но опять же надо проверять, чтобы они с другими провайдерами не через М9 соединялись

я бы так разделил провайдеров/IX по важности для отказоустойчивости:

1. М9

2. Магистральные провайдеры

3. Крупные региональные агреггаторы

3. Развитые региональные IX (имхо Питер, Новосибирск, Красноярск, Томск, может быть Екатеринбург)

4. Менее развитые IX (в других крупных городах, типа моего Челябинска)

5. Просто региональные провайдеры

имхо, ставьте серверы на М9, в датацентрах у 3-4 магистралов, у какогонибудь крупного "немагистрала" с хорошей связностью, типа Комстара, и хватит, с остальными слишком много мороки, учитывая бюджет (раз уж VPS вместо дедикейтед), усилий стоить не будет

самые крупные магистралы России: Транстелеком, Ростелеком, Синтерра, РТ-Комм, РЕТН, Билайн-Корбина

плюс имхо можно упомянуть Комстар-ОТС (Стрим)

у Комстара, РЕТНа классная связность, кстати

Я вижу вот такой способ реализации этой задумки.

Нам потребуется свой блок ip-адресов.

Ставим в каждый ДЦ по серванту (или по VDS-ке).

Договариваемся с провайдерами, чтобы они принимали от нас анонсы нашей сети.

Надобность в балансерах, SAN-ах и пр. "обвесах" отпадает.

Все серваки в каждом ДЦ шлют анонсы нашей сети и имеют одинаковый ip-адрес (из нашего блока).

Если сервак ломается/дохнет или по какой-то причине теряет связь со внешним миром, анонсы естественно с него перестают отправляться, и через несколько минут трафик на него перестаёт идти.

Разумеется, на всякий случай нужно пустить между всеми серверами heartbeat, чтобы в случае, если на каком-то серваке отвалился только апач (или что там у кого), чтобы другие серваки выключили на нём анонсы сети.

Все серваки друг с другом затуннелены и данные на них чудесным образом реплицируются :)

При использовании такой схемы получается, что пользователи будут попадать на тот сервак, который к ним ближе, и в случае, если он недоступен, попадать на следующий ближайший сервак, и т.д.

Если же в каждом ДЦ поставить по балансеру, то можно будет еще и раскидывать нагрузку по другим ДЦ, но это уже менее бюджетный вариант :)

т.е. каждый ДЦ шлет анонсы одной и той же подсети IP адресов?

Ну да.

У моей сети ведь может быть сколько угодно точек выхода и в каких угодно местах.

Стало быть, из каждой точки идут анонсы.

Как только сервак сдох, он перестаёт слать анонсы (потому что он сдох )) Ну или если он не до конца сдох, то другие серваки сами гасят на нём bgp.

И стало быть, трафик в мою сеть (который шёл на этот сервак) начинает идти в обход. То бишь через другую точку, где посетителей радостно встречает работоспособный сервер.

Единственный минус — каждая точка не будет расчитана на большУю нагрузку. Т.к. под маршрутизацию уходит весь L2 cache процессора :)

(хотя, если он только для себя будет трафик роутить, то наверна не так много ресурсов уйдёт)

Вообще, если всё это сделать аппаратно, то будет мегавещь! Особенно с балансировкой.

по-моему, нельзя одну и ту же сеть просто взять и заанонсить из-под нескольких провайдеров, распределив каждый ip по нескольким серверам

они сами откажутся это делать

можно разместить серверы в одном месте, подключиться ко всем провайдерам, и анонсить свою сеть из-под всех этих аплинков

Vanger добавил 10.01.2010 в 22:11

на forum.nag.ru, да и не только там, ребята через роутеры на PC с Фрибсд/Линуксом больше гигабита в секунду пропускают

Vanger добавил 10.01.2010 в 22:15

немного не так

веб-серверы сами по себе не могут слать анонсы. для поднятия BGP нужен роутер/сервер/умный свитч, который "умеет" bgp. для PC-роутеров используется Quagga, это такой софт

плюс, бгп-анонс от одного айпи никто не примет, многие принимают минимум от подсети /24 (256 адресов).

как Вы себе это представляете? :)

я никогда не настраивал BGP и знаю о нем только из доков/форумов, но эти утверждения немного нелогичны

Кто откажется это делать? провайдеры?

Вообще, провайдерам по барабану, что анонсировать. Ставят ограничение, чтоб вы только свои префиксы могли объявлять и всё.

А уж то, что в вашу сеть есть еще несколько маршрутов, через других провайеров — это ваше личное дело, и вообще великое благо :)

это понятно, но если на этот роутер повесить несколько сайтиков, то сразу всё быстро загнётся :)

[umka] добавил 10.01.2010 в 22:21

Это я в курсе. Разумеется, анонсы будет слать зебра. Причем анонсы сразу всего вашего блока, а не одного адреса.

Эммм... телнетиться на него, как и на роутер, и шатдаунить bgp любым доступным способом :)

именно так и делают геораспределение нагрузки.

например DNS

http://ru.wikipedia.org/wiki/Anycast

kpv добавил 11.01.2010 в 12:50

у мирхостинга в тестовом режиме

http://mirhosting.com/3/dnscluster.html

если они ещё тестируют можете поспрашивать как у них это всё работает сейчас и когда начнётся коммерческая эксплуатация.