Та ладно :D Её уже можно использовать? Я около года назад гонял (может полтора) .... вообще отстой :D
Romka_Kharkov добавил 10.07.2011 в 04:19
hvosting:
Могу на спор (порядка 20$) объяснить на пальцах как можно организовать синхронизацию
в практически реальном времени (задержка синка порядка 1 секунды) с примерением rsync и без применения кластерных ФС.
А я за 20$ еще могу на пальцах фокус показать под рассказ :) Причем тут синхронизация, вы опять же говорите о том, чего можно добиться если заливать на одну ноду... такие системы уместны с точки зрения балансировки, вы правы, но увы они не практичны с точки зрения атаки.... Точнее могут быть практичны, но представьте себе бюджет мероприятия хотя бы для отсеивания 1 Gb/s...
И опять, вы говорите о синхронизации картинок, это по моему самое простое о чем можно вообще думать в этой схеме, расскажите мне лучше как вы будете SQL реплицировать и между сколькими нодами?, а потом можете мне еще рассказать какой механизм будет применен для обработки сессий когда ваш клиент делая на сайте 10 тычков посетит 8 разных серверов в балансировке.
Как рсинком пользоваться тут пол форума знает, как он будет SQL и сессии реплицировать тоже не понятно, а самое главное не ясно причем тут ДДОС. :)
Romka_Kharkov добавил 10.07.2011 в 04:20
Andreyka: Да и потом, репликация тут не поможет по определению - кто-то один должен быть мастером, а это уже точка отказа.
А как же MultiMaster ?:)
Romka_Kharkov добавил 10.07.2011 в 04:22
Andreyka:
"Полносвязная репликация" возможна только школохрстеров, он умеет очень красиво падать, с поломкой целостности данных. Случаев было множетсво. Но пруфлинки не дам, ибо не помню, и искать лениво.
5 лет использую в MultiMaster режиме два MySQL сервера, описанных вами проблем не наблюдал, иногда бывают моменты рассинхронизации, от этого сложно уйти (проблемы в сети, и прочее)..... Но так что бы кердык и ничего не восстановить это по моему сильно :))))
P.S: Но бекапы я все равно делаю :D
Romka_Kharkov добавил 10.07.2011 в 04:24
hvosting:
Либо при совпадении данных индексов по автоинкременту, а это я упомянул. И как это можно пытаться обходить тоже упомянул.
Итак, мы имеем следующую ситуацию. Нода A имеет в upload файл avatar.jpg, нода B имеет в upload файл avatar.jpg и нода C имеет точно такой же файл.
У них разный размер, разная дата и конечно - разное содержимое.
И как решать эту задачу с помощью rsync?
Если говорить о штатных методах , то скорее всего никак, но можно ведь и учитывать куда upload состоялся... (допустим механизм работает так: при upload берется какая-то переменная из кукисов которые у клиента остались и подается на сторону случайно выданной ноды.... а та её уэе принимая делает отметку о том, что такая-то сессия закачало такой-то файлик....) и потом синхронизировать контент по папочкам нода1/ нода2/ нодаX/. Сильно не бейте :D Я вообще молчу про то, что имена файлов, раз уж разговор о них зашел, могут быть привязаны хоть к IP ноды на которую upload пошел.... лишь бы "общая схема" понимала как потом с этими данными работать :D
Но на сколько я понимаю из последующего ответа про CMS..... взять вот так и натравить обычное веб решение на такой распределенный механизм не выйдет :)
Romka_Kharkov добавил 10.07.2011 в 04:05
Himiko:
2. В плане синхронизации этих VDS-серверов будут запарки. По цене выйдет выше. Но в чём эффект, если можно от точно такой же атаки защититься в пределах одного сервера?
Меня вот всегда интересовало :) А если DNS в момент атаки поменять не на 127.0.0.1 а на парочку ip адресов гугла и прочих компаний ? ;)
А вообще надо создавать целое комьюнити по переработке ддос атаки :) Прикинь nslookup по домену сделал, а тебе в ответ пару сотен ИП выехало :D Как идея ?:)
Romka_Kharkov добавил 10.07.2011 в 04:12
DPanel:
Если оптимизировать до коробочного решения, то должно быть дешевле. Типа панельки управления Узлами и Арбитрами. Софт весь стандартный, сложностей возникнуть не должно.
Собственно и отражение атак это следствие.
Ну давайте не много посчитаем, вот идет на вас ну допустим 1 GB ддоса, это как бы не много, просто считать будет удобнее, вот мы берем скажем 10 VPS серверов, что бы каждый (допускаем что атака будет четко распределена) справлялся с 100Mb/s , так вот какова стоимость такого ВПС выйдет? который будет 100Mb/s переворачивать? Я думаю что по голым-ценам ~150$ обойдется полоса такая + стоимость ВПС.... 10 штук по 150$ это 1500$ / месяц. Я вообще молчу про переписку движков которые надо научить работать с X разных мест одновременно, синхронизируя базы и прочее, решение из коробки тут не создать, для того что бы разделить нагрузку между серверами мне не надо 100 ДНС серверов... мне 2х хватит.... они отдадут 100 А записей и пойдет ДНС балансировка..... (не в количестве обращений к ДНС дело же....). Или вы думаете атаки нацелены на выведения из строя ДНС домена? Такая атака может быть на целевые ДНС... это да... такие которые много зон держут , что бы навредить провайдеру, а атаковать ДНС сайта "мои картинки.ру" не имеет никакого смысла, проще долбить в ИП самого сайта :D
Andreyka: Не ерунди. Upload идет не по ftp, а через браузер.
В случае браузера можно использовать алгоритмы хранения картинок в общей базе данных (ссылки на ноды и имена файлов). Но в целом конечно проблему это составляет... ты прав... Хотя не верю что нет модуля в CMS-ках который предполагает работу с удаленными хранилищами....
Сайт перенесен на VPS от REG.RU. Сервак я взял недавно и просто для теста. Там крутятся несколько проектов. Так вот все они сразу легли. Настройка фильтрации я так понял будет стоить 100 - сайт столько не отобьет в месяц. Выход - ждать окончания атаки.
Я уже говорил об этом, перенесли? Вы что не понимаете что разница Shared Hosting и VPS лишь в том, что вы не мешаете остальным по сути, а ваше как лежало так и будет лежать, вы хоть сервер 4х ядерный поставьте, все равно будет лежать.... вы сейчас переходом на ВПС тариф пытаетесь поглотить ДДОС собственной мощностью - на 99% уверяю вас , что НЕ ВЫЙДЕТ!
Romka_Kharkov добавил 08.07.2011 в 19:37
tedvlee:
Я не специалист чтобы рассуждать прав он или нет и идет ли атака на IP или на домен. Судя по тому что после переноса домена на VPS атака пошла туда - атака все же идет на конкретный домен или (что скорее) на ресолвленный для него IP (именно поэтому все сайты на новом IP в шареде упали). Я поставил для атакуемого домена на VPS ip 127.0.0.1 (не знаю была ли это злая шутка-совет :)) и честно говоря не смог оценить результатов. VPS на РЕГ.РУ периодически виснет. почему пока не разобрался.
Почему вы тут тогда ищете советов, а не ищете специалиста в соседнем разделе? Хотите починить сами?
tedvlee:
Стоит ли прикупить для домена отдельный IP? Или вообще его унести на отдельный VPS и разбираться.
Отдельный ИП будет бонусом, но только в случае если у вас есть как отделить его ресурсы, то что вы пишите на счет "отнести на отдельный ВПС" тоже логично, если вы хотите что бы остальные сайты работали....
Romka_Kharkov добавил 08.07.2011 в 19:42
tedvlee: И шаред хостинг в данном случае не рассматривается само собой - а это уже не копейки! Мне нужно не "поиграться" а поднять стабильный доступ на домен! Речь шла о экспериментах - сможет кто-то предложить услугу и меня она устроит и исполнителя она устроит - будем жить в удовольствие оба.
Железка которая отвечает за безопасность, она понимаете ли не имеет отношение к тому ВПС это или Хостинг.... она установлена на участке сети, по этому вы можете продолжать жить нормально на хостинге обычном шаред если у провайдера есть такая железка на выходе\входе.
tedvlee:
Не умею делать защиту от ДДоса, но умею платить за хостинг который не отвернется когда меня будут ДДосить.
Так если вы умеете платить, в чем же тогда вопросы? Купите себе канал 50 Gb/s, по рыночной стоимости трафика на больших объемах я думаю в 5 - 10k $ в месяц вполне уложитесь, что это дает? Вы получаете канал нереального размера, который будет в силах пропустить сквозь себя столько, что для удачной атаки на вас понадобятся огромные средства и вас просто не будут атаковать, если вы не торгуете окнами в москве :D а дальше будет стоять железка которая куплена будет вами тоже за 8-10$ k но разово... которая будет например легко справляться с 10-20Gb/s , т.е до вашего сервера данный объем трафика просто не дойдет. Вполне комплексное и удовлетворительное решение, цена без накруток как есть...
Zaqwr: интересно, никто не знает, что покрутить, чтобы сервер отдавал на скорости 1гигабит/sсекунду, есть несколько разных серверов, OS Debian, новых, старых, с 10 райдом, в том числе был с freebsd, отдача через nginx , скорость упирается в 500-600m/s при одновременных сессиях немногим более 1000, канал может больше 100%, в пиковою загрузку скорость отдачи с рамдиска(из памяти) что по ftp что по ssh ничтожна, где узко не пойму.
п.с. думаю это рано или поздно ТС коснётся..
Ну из рамдиска ясен пень что побыстрее будет, а как вы собрались в рамдиск складывать файлы размером 20 Mb - 2 GB ? сколько памяти будет в машинке?
=MaximaN=: yahoster, спасибо за быстрый ответ, но хотелось бы еще предложений увидеть, так сказать, для сравнения...
Можем разместить в Канаде, согласно 100р у месяц есть тарифы Light и Micro, посмотрите их составляющие, но вот нагрузка это нагрузка она никуда не денется скорее всего, если ваш движок грузит, то он у всех будет грузить... Тут разбираться надо что грузит и почему грузит, обычно 1000 клиентов это не много, но зависит опять же от движка. В любом случае готовы предоставить лояльные условия и тестовый период сроком 7 дней. Обращайтесь, обсудим!
Вобще как-то странно, в первом сообщении вы утвержаете что на 1000 одноврвеменных скачиваний(хоть и по 50кбит/сек на каждую скачку) и 10 серверов не хватит, а тут уже лишь предполагаете что первой проблемой станет ошибка ввода/вывода..
Я говорил про скачку файлов 20 Mb - 2 GB..... А расчет скорости скачивания происходил из расчета 20 Mb файл.... Так что от 50kb/s вы далеко плясать будете...
alex545:
а на каком кол-ве качающих это предположительно случиться, на 100, на 200? (на обычных сата2 винтах). Исходя из этой информации я смогу выставить какие-то ограничения.. Я конечно же понимаю, что это и опытным путём всё проверить можно, но надеялся что кто-то и так сможет подсказать
Запустите - увидите. Видимо такие ответы в силе, предсказать будет сложно.... Интенсивность разная, количество запросов разное, считайте.....
P.P.S. Лично я уже решил с помощью gluster 🤪
Та ладно :D Её уже можно использовать? Я около года назад гонял (может полтора) .... вообще отстой :D
Romka_Kharkov добавил 10.07.2011 в 04:19
Могу на спор (порядка 20$) объяснить на пальцах как можно организовать синхронизацию
в практически реальном времени (задержка синка порядка 1 секунды) с примерением rsync и без применения кластерных ФС.
А я за 20$ еще могу на пальцах фокус показать под рассказ :) Причем тут синхронизация, вы опять же говорите о том, чего можно добиться если заливать на одну ноду... такие системы уместны с точки зрения балансировки, вы правы, но увы они не практичны с точки зрения атаки.... Точнее могут быть практичны, но представьте себе бюджет мероприятия хотя бы для отсеивания 1 Gb/s...
И опять, вы говорите о синхронизации картинок, это по моему самое простое о чем можно вообще думать в этой схеме, расскажите мне лучше как вы будете SQL реплицировать и между сколькими нодами?, а потом можете мне еще рассказать какой механизм будет применен для обработки сессий когда ваш клиент делая на сайте 10 тычков посетит 8 разных серверов в балансировке.
Как рсинком пользоваться тут пол форума знает, как он будет SQL и сессии реплицировать тоже не понятно, а самое главное не ясно причем тут ДДОС. :)
Romka_Kharkov добавил 10.07.2011 в 04:20
Да и потом, репликация тут не поможет по определению - кто-то один должен быть мастером, а это уже точка отказа.
А как же MultiMaster ?:)
Romka_Kharkov добавил 10.07.2011 в 04:22
"Полносвязная репликация" возможна только школохрстеров, он умеет очень красиво падать, с поломкой целостности данных. Случаев было множетсво. Но пруфлинки не дам, ибо не помню, и искать лениво.
5 лет использую в MultiMaster режиме два MySQL сервера, описанных вами проблем не наблюдал, иногда бывают моменты рассинхронизации, от этого сложно уйти (проблемы в сети, и прочее)..... Но так что бы кердык и ничего не восстановить это по моему сильно :))))
P.S: Но бекапы я все равно делаю :D
Romka_Kharkov добавил 10.07.2011 в 04:24
Либо при совпадении данных индексов по автоинкременту, а это я упомянул. И как это можно пытаться обходить тоже упомянул.
server-id=1 & server-id=2 вроде решает с головой.
Итак, мы имеем следующую ситуацию. Нода A имеет в upload файл avatar.jpg, нода B имеет в upload файл avatar.jpg и нода C имеет точно такой же файл.
У них разный размер, разная дата и конечно - разное содержимое.
И как решать эту задачу с помощью rsync?
Если говорить о штатных методах , то скорее всего никак, но можно ведь и учитывать куда upload состоялся... (допустим механизм работает так: при upload берется какая-то переменная из кукисов которые у клиента остались и подается на сторону случайно выданной ноды.... а та её уэе принимая делает отметку о том, что такая-то сессия закачало такой-то файлик....) и потом синхронизировать контент по папочкам нода1/ нода2/ нодаX/. Сильно не бейте :D Я вообще молчу про то, что имена файлов, раз уж разговор о них зашел, могут быть привязаны хоть к IP ноды на которую upload пошел.... лишь бы "общая схема" понимала как потом с этими данными работать :D
Но на сколько я понимаю из последующего ответа про CMS..... взять вот так и натравить обычное веб решение на такой распределенный механизм не выйдет :)
Romka_Kharkov добавил 10.07.2011 в 04:05
2. В плане синхронизации этих VDS-серверов будут запарки. По цене выйдет выше. Но в чём эффект, если можно от точно такой же атаки защититься в пределах одного сервера?
Меня вот всегда интересовало :) А если DNS в момент атаки поменять не на 127.0.0.1 а на парочку ip адресов гугла и прочих компаний ? ;)
А вообще надо создавать целое комьюнити по переработке ддос атаки :) Прикинь nslookup по домену сделал, а тебе в ответ пару сотен ИП выехало :D Как идея ?:)
Romka_Kharkov добавил 10.07.2011 в 04:12
Если оптимизировать до коробочного решения, то должно быть дешевле. Типа панельки управления Узлами и Арбитрами. Софт весь стандартный, сложностей возникнуть не должно.
Собственно и отражение атак это следствие.
Ну давайте не много посчитаем, вот идет на вас ну допустим 1 GB ддоса, это как бы не много, просто считать будет удобнее, вот мы берем скажем 10 VPS серверов, что бы каждый (допускаем что атака будет четко распределена) справлялся с 100Mb/s , так вот какова стоимость такого ВПС выйдет? который будет 100Mb/s переворачивать? Я думаю что по голым-ценам ~150$ обойдется полоса такая + стоимость ВПС.... 10 штук по 150$ это 1500$ / месяц. Я вообще молчу про переписку движков которые надо научить работать с X разных мест одновременно, синхронизируя базы и прочее, решение из коробки тут не создать, для того что бы разделить нагрузку между серверами мне не надо 100 ДНС серверов... мне 2х хватит.... они отдадут 100 А записей и пойдет ДНС балансировка..... (не в количестве обращений к ДНС дело же....). Или вы думаете атаки нацелены на выведения из строя ДНС домена? Такая атака может быть на целевые ДНС... это да... такие которые много зон держут , что бы навредить провайдеру, а атаковать ДНС сайта "мои картинки.ру" не имеет никакого смысла, проще долбить в ИП самого сайта :D
Админить надо так, чтоб клиенты стучали только по одному поводу - заплатить за абонобслуживание ;)
+100500
Himiko, бразер :D , ну не так откровенно же :)
Не ерунди. Upload идет не по ftp, а через браузер.
В случае браузера можно использовать алгоритмы хранения картинок в общей базе данных (ссылки на ноды и имена файлов). Но в целом конечно проблему это составляет... ты прав... Хотя не верю что нет модуля в CMS-ках который предполагает работу с удаленными хранилищами....
Сайт перенесен на VPS от REG.RU. Сервак я взял недавно и просто для теста. Там крутятся несколько проектов. Так вот все они сразу легли. Настройка фильтрации я так понял будет стоить 100 - сайт столько не отобьет в месяц. Выход - ждать окончания атаки.
Я уже говорил об этом, перенесли? Вы что не понимаете что разница Shared Hosting и VPS лишь в том, что вы не мешаете остальным по сути, а ваше как лежало так и будет лежать, вы хоть сервер 4х ядерный поставьте, все равно будет лежать.... вы сейчас переходом на ВПС тариф пытаетесь поглотить ДДОС собственной мощностью - на 99% уверяю вас , что НЕ ВЫЙДЕТ!
Romka_Kharkov добавил 08.07.2011 в 19:37
Я не специалист чтобы рассуждать прав он или нет и идет ли атака на IP или на домен. Судя по тому что после переноса домена на VPS атака пошла туда - атака все же идет на конкретный домен или (что скорее) на ресолвленный для него IP (именно поэтому все сайты на новом IP в шареде упали). Я поставил для атакуемого домена на VPS ip 127.0.0.1 (не знаю была ли это злая шутка-совет :)) и честно говоря не смог оценить результатов. VPS на РЕГ.РУ периодически виснет. почему пока не разобрался.
Почему вы тут тогда ищете советов, а не ищете специалиста в соседнем разделе? Хотите починить сами?
Стоит ли прикупить для домена отдельный IP? Или вообще его унести на отдельный VPS и разбираться.
Отдельный ИП будет бонусом, но только в случае если у вас есть как отделить его ресурсы, то что вы пишите на счет "отнести на отдельный ВПС" тоже логично, если вы хотите что бы остальные сайты работали....
Romka_Kharkov добавил 08.07.2011 в 19:42
И шаред хостинг в данном случае не рассматривается само собой - а это уже не копейки! Мне нужно не "поиграться" а поднять стабильный доступ на домен! Речь шла о экспериментах - сможет кто-то предложить услугу и меня она устроит и исполнителя она устроит - будем жить в удовольствие оба.
Железка которая отвечает за безопасность, она понимаете ли не имеет отношение к тому ВПС это или Хостинг.... она установлена на участке сети, по этому вы можете продолжать жить нормально на хостинге обычном шаред если у провайдера есть такая железка на выходе\входе.
Не умею делать защиту от ДДоса, но умею платить за хостинг который не отвернется когда меня будут ДДосить.
Так если вы умеете платить, в чем же тогда вопросы? Купите себе канал 50 Gb/s, по рыночной стоимости трафика на больших объемах я думаю в 5 - 10k $ в месяц вполне уложитесь, что это дает? Вы получаете канал нереального размера, который будет в силах пропустить сквозь себя столько, что для удачной атаки на вас понадобятся огромные средства и вас просто не будут атаковать, если вы не торгуете окнами в москве :D а дальше будет стоять железка которая куплена будет вами тоже за 8-10$ k но разово... которая будет например легко справляться с 10-20Gb/s , т.е до вашего сервера данный объем трафика просто не дойдет. Вполне комплексное и удовлетворительное решение, цена без накруток как есть...
интересно, никто не знает, что покрутить, чтобы сервер отдавал на скорости 1гигабит/sсекунду, есть несколько разных серверов, OS Debian, новых, старых, с 10 райдом, в том числе был с freebsd, отдача через nginx , скорость упирается в 500-600m/s при одновременных сессиях немногим более 1000, канал может больше 100%, в пиковою загрузку скорость отдачи с рамдиска(из памяти) что по ftp что по ssh ничтожна, где узко не пойму.
п.с. думаю это рано или поздно ТС коснётся..
Ну из рамдиска ясен пень что побыстрее будет, а как вы собрались в рамдиск складывать файлы размером 20 Mb - 2 GB ? сколько памяти будет в машинке?
Например, как у приватбанка. Логин/пароль + одноразовый пароль по SMS.
А, понятно :D А в чем собственно проблема? В генерации числа внутри сессии и отправка его на SMS?
ТС, каковы задачи?
yahoster, спасибо за быстрый ответ, но хотелось бы еще предложений увидеть, так сказать, для сравнения...
Можем разместить в Канаде, согласно 100р у месяц есть тарифы Light и Micro, посмотрите их составляющие, но вот нагрузка это нагрузка она никуда не денется скорее всего, если ваш движок грузит, то он у всех будет грузить... Тут разбираться надо что грузит и почему грузит, обычно 1000 клиентов это не много, но зависит опять же от движка. В любом случае готовы предоставить лояльные условия и тестовый период сроком 7 дней. Обращайтесь, обсудим!
А что это такое вообще "двух-факторная аутентификация"? :) Это типа кроме пароля еще что-то? Связка login+pass это тоже двух-факторная в таком случае?
Вобще как-то странно, в первом сообщении вы утвержаете что на 1000 одноврвеменных скачиваний(хоть и по 50кбит/сек на каждую скачку) и 10 серверов не хватит, а тут уже лишь предполагаете что первой проблемой станет ошибка ввода/вывода..
Я говорил про скачку файлов 20 Mb - 2 GB..... А расчет скорости скачивания происходил из расчета 20 Mb файл.... Так что от 50kb/s вы далеко плясать будете...
а на каком кол-ве качающих это предположительно случиться, на 100, на 200? (на обычных сата2 винтах). Исходя из этой информации я смогу выставить какие-то ограничения.. Я конечно же понимаю, что это и опытным путём всё проверить можно, но надеялся что кто-то и так сможет подсказать
Запустите - увидите. Видимо такие ответы в силе, предсказать будет сложно.... Интенсивность разная, количество запросов разное, считайте.....