Сервер под большое количество статичных страниц

12
JH
На сайте с 31.03.2012
Offline
91
1244

Нужно захостить примерно 50 млн статичных хтмл страничек (примерно 200гб). Посещалка 10к дейли, посещаются все более-менее равномерно. Вопрос - на какие характеристики сервера обратить внимание в первую очередь для ускорения открытия страниц? Как я понимаю цпу тут не поможет, RAM тоже, т.к. все не закешируешь, остается СДД вместо HDD? Я прав?

Большая ли разница будет при открытии страницы в 30кб на хдд и сдд?

Если конкретно, то выбираю из ассортимента SyS.

http://www.soyoustart.com/ie/essential-servers/

[Удален]
#1
JabbaHutt:
Нужно захостить примерно 50 млн статичных хтмл страничек (примерно 200гб). Посещалка 10к дейли, посещаются все более-менее равномерно. Вопрос - на какие характеристики сервера обратить внимание в первую очередь для ускорения открытия страниц? Как я понимаю цпу тут не поможет, RAM тоже, т.к. все не закешируешь, остается СДД вместо HDD? Я прав?

Большая ли разница будет при открытии страницы в 30кб на хдд и сдд?
Если конкретно, то выбираю из ассортимента SyS.
http://www.soyoustart.com/ie/essential-servers/

Админа еще опытного для оптимизации всего этого дела.

А SSD конечно лучше будет.

yahoster
На сайте с 14.04.2011
Offline
234
#2
JabbaHutt:
Посещалка 10к дейли, ....
СДД вместо HDD? Я прав?

при 10к посетителей разницы особой скорее всего не будет замечено.

Цену на хостинг устанавливаете вы (https://cadedic.ru/aktsii/chestnaya-tsena/). Вечные виртуальные серверы (http://lto-vds.ru/otf-vds.html).
JH
На сайте с 31.03.2012
Offline
91
#3

Посетителей 10к, но боты гугла ходить по сайту будут очень активно. Не знаю такую же они нагрузку создают как живые люди или нет, но судя по инфе из гугл вебмастера в день выкачивается до 300к страниц.

[Удален]
#4
JabbaHutt:
Посетителей 10к, но боты гугла ходить по сайту будут очень активно. Не знаю такую же они нагрузку создают как живые люди или нет, но судя по инфе из гугл вебмастера в день выкачивается до 300к страниц.

Все же SSD лишним не будет для Вас. Но обязательно делайте бэк апы.

gramilla
На сайте с 28.04.2011
Offline
45
#5

Я бы посоветовал брать на SSD т.к. есть опыт с работой сайтов с большим оличеством статических страниц и на SSD он чувствовал себя наааамного лучше чем на HHD. Про бекапы уже напомнили раньше, но их надо делать не только на SSD но и на HDD, все бывает.

UnixHost (http://my.unixhost.pro/aff.php?aff=007) - хостинг от 0.5$ VPS/VDS от 5$ (Украина, Европа, США)
D
На сайте с 14.02.2015
Offline
87
#6

Сервер любой пойдет, даже ВДСка, SSD или HDD в вашем случае не сыграет большой роли, если Mysql нет. Мы такого клиента с 10млн x 3 поддомена статики и на шареде разместили без проблем. Главное что бы эти N млн файлов не обновлялись чуть ли не каждый день, ибо возникает вопрос сверхбыстрой деградации жесткого диска. А вообще при хорошем кешировании, проблем не возникает. Еще уместно здесь макс gzip для быстрой отдачи.

Хостинг в Великобритании Cloud (https://www.uapeer.eu/ru/#!shared) || VPS [от $7/мес] (https://www.uapeer.eu/ru/#!vds) || Dedicated (https://www.uapeer.eu/ru/#!dedic) Windows Server, ISPManager бесплатно
Z
На сайте с 06.09.2012
Offline
129
#7
JabbaHutt:
Нужно захостить примерно 50 млн статичных хтмл страничек (примерно 200гб). Посещалка 10к дейли, посещаются все более-менее равномерно.

Посещалка тут роли не играет, запросов в самый активный вечерний час сколько? Где-то 2000 в час?

На каждый запрос, который не находится нигде в кэше оперативки, ОС должна будет прочитать метаданные файла и всего, что нужно, чтобы найти эти метаданные, а потом еще и сам файл. В принципе на любой файловой системе и при более менее оптимальной структуре директорий на такой запрос пойдет 5-10 операций случайного чтения с диска или около 50-100 мс. Предел нагрузки получается 10-20 запросов в секунду.с обычного диска. Нагрузка не бывает равномерной, потому чтобы получить приятный отклик нужно грузить меньше, пусть 30%.

Получаем 10000 запросов в час с обычного диска. Ботам можно лимиты поставить в 5-10 запросов в секунду и все будет хорошо. Можно и не ставить, но может иногда подтормаживать, боты они такие, меры не знают.

(P.S. я на 10 миллионах файлов хранить их в файловой системе перестал полностью, много проблем с этим)

Черный список врунов и обманщиков: ua-hosting.company, riaas.ru, takewyn.ru, yahoster/cadedic, Andreylab
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#8
JabbaHutt:
Нужно захостить примерно 50 млн статичных хтмл страничек (примерно 200гб). Посещалка 10к дейли, посещаются все более-менее равномерно. Вопрос - на какие характеристики сервера обратить внимание в первую очередь для ускорения открытия страниц? Как я понимаю цпу тут не поможет, RAM тоже, т.к. все не закешируешь, остается СДД вместо HDD? Я прав?

Большая ли разница будет при открытии страницы в 30кб на хдд и сдд?
Если конкретно, то выбираю из ассортимента SyS.
http://www.soyoustart.com/ie/essential-servers/

Я могу предложить вам услуги балансировки трафика для статических сайтов то, что будет нужно, вовсе не обязательно брать супер мега шустрый сервер с супер скоростными винтами и рейд массивами, можно взять множество дешевых серверов и разделить между ними нагрузку, при этом появляется рад плюсов, во первых, отказоустойчивость, при выходе из строя одного из серверов фермы, ничего не ломается, нагрузка просто расползается на оставшиеся, появляется дублирование\зеркалирование данных, а так же самое приятное, появляется отличная возможность масштабирования вашего проекта, т.е если завтра у вас станет 150 млн. статических страниц либо же появится большее количество посетителей, надо будет добавить пару серверов в ферму и синхронизировать данные.....

Готовы обсудить с вами возможность внедрения, а так же стоимость в личном порядке.

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
hosting_manager
На сайте с 26.03.2010
Offline
292
#9

Делались подобные вещи и Роман прав, можно использовать несколько недорогих серверов и балансировать нагрузку между ними, а файлы синхронизировать тем же rsync.

Получится хороший отказоустойчивый кластер, который можно масштабировать в зависимости от нагрузки и трафика.

Сейчас есть хорошее акционное предложение под такое решение:

2 x Intel Quad Core E5504 16GB DDR3 / 12x1TB SATA / 1Gbps 100TB - 99,99 / месяц

Количество серверов ограничено, всего есть 170 штук, но разбирают довольно быстро под решения.

Оформить заказ можно тут: http://www.ua-hosting.company/servers

ua-hosting.company: серверы в NL/US со скидкой 30% нашим читателям: E5-2650v4/10GB DDR4/240GB SSD/1 Gbps - от $20 ()
S
На сайте с 23.05.2004
Offline
316
#10

squid кешировал и отдавал миллионы файлов на древнем железе. Что же изменилось в мире, что на 10к трафа статики в сутки, уже предлагают балансировку серверов.

Это просто подпись.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий