10.000 обращений в секунду :)

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
4260

День добрый,

Обычная задача да необычное решение ;) Условно есть некий ресурс скажем на WP или Joomla или DLE, xenforo не принципиально важно, некий штатный движок, на котором есть некий штатный сайт, который не выделяется раздачей видео, аудио или еще чего-то выходящего за рамки приличия :))) Какой-то среднестатистический ресурс с информацией, периодически заливаемыми картинками и.т.п, т.е такой себе default :) Однако у этого default-a есть одна отличительная черта, к нему хотят обращаться 10.000 абонентов в секунду!!! (~864 миллиона запросов в сутки!) Интересует мнение специалистов не тему реализации платформы для работы такого вот проекта, какие бы технологии вы использовали, на каком железе и в каком количестве.

Буду рад любым мнениям.

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
kxk
На сайте с 30.01.2005
Offline
970
kxk
#1

Romka_Kharkov, СамыЙ мощный 4головый Xeon + 384 Гб памяти+4*512Гб Intel 530 SSD в HWRAID :)

Ваш DEVOPS
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#2

kxk, сарказм принят ))) А реально :D ?

Я что-то не думаю что с таким потоком справится Single сервер ;)

xakep7
На сайте с 17.05.2012
Offline
89
#3

Кластер из нескольких выделенных серверов)

2+ сервера обработчика (lighttpd/nginx+php-fcgi), 1 Storage для файлов +1 mysql с SSD Raid для базы.

На серверах для обработки делать упор на процессор + память оперативную.

Для Storage упор на диски и raid.

Для Mysql все в сумме. Из 1 SSD, 16 ГБ Ram и процессора AMD Athlon x4 760k мне удавалось выжать 2000-2500 запросов в секунду к MySQL дальше все упиралось в процессор.

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#4
xakep7:
Кластер из нескольких выделенных серверов)

прошу по сути:

>>> какие бы технологии вы использовали, на каком железе и в каком количестве.

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#5

сервер: оперативки столько, чтоб хватило кешировать всю базу + собственно настройка и оптимизация мускула для этого. диски: SSD возможно в рейде + возможно нгинкс для кеширования в память картинки.

а вообще в таких случаях не юзают просто дефолтный вордпресс, а допиливают движок для кеширований и прочих оптимизаций.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
N
На сайте с 06.05.2007
Offline
419
#6
Romka_Kharkov:
Интересует мнение специалистов

Специалист - от слова "специальность". А движки общего назначения не специальные и специальными не будут.

Romka_Kharkov:
к нему хотят обращаться 10.000 абонентов в секунду!!!

если не хотите ничего специального делать - перехотят.

Romka_Kharkov:
>>> какие бы технологии вы использовали, на каком железе и в каком количестве.

о, надо же, на пятом сообщении вспомнили, что среди прочих слов забыли сформулировать собственно вопрос или задачу.

оно в принципе было понятно, но почему нельзя четко писать ?

Кнопка вызова админа ()
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#7
foxi:
сервер: оперативки столько, чтоб хватило кешировать всю базу + собственно настройка и оптимизация мускула для этого. диски: SSD возможно в рейде + возможно нгинкс для кеширования в память картинки.
а вообще в таких случаях не юзают просто дефолтный вордпресс, а допиливают движок для кеширований и прочих оптимизаций.

Т.е вы все таки склоняетесь к тому, что 1 сервер физический может потянуть такое количество запросов? Я даже гипотетически не могу представить себе, как будет разгребаться очередь из 10.000 запросов которые в свою очередь родят x20 а то и больше запросов в FS / SQL .... даже при условии SSD в рейде.... :( 🤪🤪🤪 Мне почему-то кажется что такие дела решаются или жесткой балансировкой между несколькими десятками серверов, либо же кластерной системой.....

xakep7
На сайте с 17.05.2012
Offline
89
#8
Romka_Kharkov:
прошу по сути:

>>> какие бы технологии вы использовали, на каком железе и в каком количестве.

Дописал в 1-ый пост

P.s в примере использовалась связка из OS CentOS6, Lighttpd+php-fcgi+MariaDB(innoDB)

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#9
netwind:
Специалист - от слова "специальность". А движки общего назначения не специальные и специальными не будут.

если не хотите ничего специального делать - перехотят.

Последнее время ваши ответы вызывают только улыбку ;) Спасибо за ваш энтузиазм :)

Однако вы вроде грамотный специалист от слова специальность, и должны были бы понять, что тема создана не для личного просветления, а для "объективности" картины :))) Ведь кто-то может считать, что Xeon-а хватит для решения задачи... :))) Ну в общем-то даже это , уже отход от моего вопроса, если можно - по сути, если просто @постебаться@ - прошу не делать этого в этой теме.

---------- Добавлено 03.08.2014 в 13:08 ----------

netwind:

о, надо же, на пятом сообщении вспомнили, что среди прочих слов забыли сформулировать собственно вопрос или задачу.
оно в принципе было понятно, но почему нельзя четко писать ?

Это был копипаст из первого сообщения. :) Читайте внимательней :)

N
На сайте с 06.05.2007
Offline
419
#10
Romka_Kharkov:
если просто @постебаться@ - прошу не делать этого в этой теме.

Несмотря на поставленные условия, мы то знаем, что у вас нет ресурса с объявленными характеристиками посещаемости и одновременно "дефолтной " архитектурой. При такой заведомо ложной информации, можно было и ожидать существенную долю иронии в сообщениях оппонентов.

Крайне невыгодно заниматься масштабированием движков общего назначения , которые изначально сделаны не масштабируемыми, а просто гибкими и удобными разработчику-новичку. Тем более если речь идет о выдуманной плотности посетителей.

Выгодно их написать заново максимально используя конкретные допущения конкретного сайта :

- что-то можно кешировать, а что-то нельзя.

- какие-то операции распараллеливаются и откладываются в очередь, а какие-то нет

и тд.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий