Ищу сервер в РУ

Приветствую, прежде всего нужно рассчитать необходимую производительность сторедж-системы, одной из приблизительных метрик, является измерение в IOPS (Input Output Operations per Second), операциях ввода / вывода (записи / чтения). Но нужно помнить, что она подвержена влиянию большого множества факторов.

Начнем с того, что IOPS вовсе не IOPS и даже совсем не IOPS, так как существует множество переменных, которые определяют сколько IOPS мы получим в конкретных случаях. И это значение зависит далеко не только от накопителей, которые используются, но и от уровня RAID, размера кластера (блока) файловой системы, а также от характера нагрузки. Различные рабочие нагрузки предъявляют различные требования к операциям ввода / вывода (I / O). Таким образом, системы хранения, которые, на первый взгляд, должны были бы обеспечивать должную производительность, в действительности могут не справится с поставленной задачей.

Уточните сколько изображений / видеофайлов будет хранится, будут ли проходить процессы конвертации, какую производительность нужно обеспечивать на скачивание (сколько файлов качают одновременно, средний размер файлов, сколько популярных файлов, нужно ли обеспечить возможность стримминга - просмотра видеофайлов онлайн).

Максимальный аптайм?

Это что в Вашем понимании. От этого зависит, насколько распределенную систему резервирования необходимо делать.

Ну и огласите Ваш бюджет и текущую посещаемость проекта.

Если проект новый и пока только в разработке - возьмите для начала что-то вроде 2 x Intel Quad Core Xeon E5504 16GB DDR3 6 x 2TB SATA 1Gbps 100TB, и сделайте проект масштабируемым, чтоб можно было добавлять впоследствии новые ноды и обеспечивать должную нагрузку.

На серверах с HDD SATA накопителями - исключительно RAID1+0.

Если будут вопросы - обращайтесь, проконсультируем, в зависимости от входящих параметров, порекомендуем с каким размером блока сделать файловую систему и как лучше организовать отдачу.

Бюджет решения - от $100 / месяц до .... в зависимости от требований Вашего проекта и локации. Если Россия - будьте готовы платить за железо и трафик дороже, а также решать проблемы с местными правоохранителями.

Если Нидерланды - будет дешевле, есть прямая связность с РФ из Европы, плюс Вы обретете меньше проблем с российским законодательством, так как если люди зальют видео для взрослых - это чревато изыманием сервера в РФ и расследованием.

Ну он ведь сразу указал, что именно Россия-Матушка, и не пугайте органами пожалуйста. У них там тоже не каждое видео для взрослых позволят заливать. Если у вас нет хороших предложений дедиков в России (а как я вижу, у вас нет вообще никаких), не означает что нет у других.

Каким образом будет контент отдаваться? http, ftp ...

Разрешите предлагать хостерам.

Попробую по порядку описать:

У нас есть система парсинга рекламных объявлений и мы предоставляем к ним доступ в рамках сервисов advanceTS.org и Admobispy.com . Количество пользователей в день порядка 2000-3000 на текущий момент по двум проектам.

В день на сервер записывается порядка 20-30к рекламных объявлений и эта цифра будет больше. Думаю, что до 40-50к/день файлов. Размер их в среднем 30-500КБ для картинок и для видео в районе 10МБ. Бывают экземпляры бОЛьшего размера, но реже. На текущий момент база уже картинок/видео уже более 1ТБ занимает. Файлов порядка 15МЛН храниться будет. При этом пользователи обращаются в первую очередь к файлам, созданным за последний месяц/два, реже ко всем остальным.

Никаких процессов конвертации происходить на сервере не будет.

Гео пользователей, для которых нужен доступ сейчас в бОльшей степени Россия, но в ближайшее время начнут появляться люди из западных стран (USA/Canada/LatAm)

В двух словах как-то так.

Не совсем понял, что значит "Разрешить предлагать хостерам?" Если для этого нужно написать об этом в сообщении - то конечно разрешаю.

Если кто-то может проконсультировать по этому вопросу - так же велкам, готов оплатить консультацию

А отдавать статику через CDN и object file storages не думали? Сходу правда, думаю, не скажешь вы сколько это в вашем случае выльется.

Именно так, это нужно по местным правилам.

Укажите пожалуйста сразу, какие цифры по трафику планируются.

CDN, как я понял больше подходит под часто запрашиваемый контент же, а не под большой объем контента. А вот про Object File Storages не думал и не знал про них. Нужно уточнить этот вопрос. Я так понимаю, что они как раз заточены под большой объем информации. Где можно почитать про них и кто предоставляет такие услуги?

Попробуйте связаться с colocat.ru У них, вроде, самый высокий аптайм. По крайней мере мне так наш админ говорил.

Если подойдет виртуальный сервер, можете рассмотреть наше предложение.

К серваку в комплекте канал 1Гбит/с

Можно бесплатно потестить. Бюджет - в районе 10к.

А рассчитать не судьба на основе указанных данных? Трафик - не самое важное тут, тут важнее обеспечить производительность системы.

При 3000 хостов в день - получаем примерно до 50 пользователей онлайн в пиковые часы, в соответствии с среднесуточной кривой посещаемости для подобного рода ресурсов. Точнее можно сказать, посмотрев на статистику непосредственно.

Если 3000 человек в день качают файл (максимум 10 мегабайт, берем худший сценарий, понятное дело, что не все качают, но некоторые пользователи могут качать несколько файлов), то получается, что Вам необходимо обеспечить отдачу трафика в (3000*10*30/1024/1024 = 0,86

ТБ ) минимум 1 ТБ в месяц на исход. Пиковая нагрузка по каналу, когда 50 пользователей онлайн что-то качают на сайте, при условии допустимого времени скачивания файла максимального объема в течении 5 секунд, составляет 50*10*8/5 = 800 мегабит / с (худший сценарий, если все 50 человек запросили одновременно файл максимального объема).

Соответсвенно, для обеспечения быстрой отдачи файлов с хранилища - рекомендован сервер с гигабитным подключением к сети Интернет.

При хранении миллионов файлов с перспективой роста до 50 000 файлов в день и единым хранилищем, не забудьте обратить внимание на inodes, при создании файловой системы. Рекомендуется применить большее количество дисков меньшего объема с целью обеспечения отказоустойчивости массива и более быстрого ребилда RAID.

Применять SSD накопители и CDN для кеша популярных файлов - сейчас нет необходимости, так как основной расход производительности у Вас будет на ЗАПИСЬ (парсинг с других ресусров, нежели на чтение). Пиковая нагрузка чтения спокойно обрабатывается оперативной памятью сервера, 8-16 GB RAM будет вполне достаточно.

А вот запись - ключевая Ваша проблема, тут хранилище нужно рассчитывать исходя из того, какую пиковую нагрузку Вы хотите обеспечить на запись одновременно. Если Вы хотите спарсить все и записать в течении часа - это один разговор, если все будет более-менее распределено во времени - совершенно другой.

Предположим, что средний размер контента объявлений - 3 МБ и Вы парсите их равномерно в течении 12 часов, так как большую часть объявлений публикуют в дневной период, а не ночной все же.

Рассчитаем необходимый трафик 3*30000*30/1024/1024 = 2,57 ТБ на вход в месяц.

Вероятнее всего, что Вы не будете синхронизовать конетнт с другими сайтами, посредством онлайн-синхронизации, так как придется держать открытыми множество соединений, что приведет к неэффективному использованию оперативной памяти (от 64 КБ на установку каждого соединения, а если сайтов тысячи, то и 16ГБ оперативной памяти будет мало).

Допустим, что Вы будете парсить контент раз в 10 минут в течении 1 минуты (время исполнения скрипта), таким образом в течении 1 минуты Вам необходимо будет спарсить 3*30000/12/6 = 1 250 МБ данных, что предъявляет требования к каналу 1250/60*8 = 166,67 Мбит / с .

Один HDD SATA накопитель обеспечивает в пределах 50-75 IOPS (операций ввода вывода в секунду).

Если мы возьмем 12 накопителей и соберем их в RAID10, то мы получим производительность записи в пределах 450 IOPS в лучшем случае, в то время, как на чтение - до 900 IOPS.

В итоге за одну операцию ввода нам нужно будет передавать 166,67/8*1024/450 = 47,41 КБ данных и чтоб уложится в наши 450 IOPS лучше будет выбрать размер кластера (блока) 64 КБ, а с учетом того, что нам нужно еще и отдавать трафик, пусть и с кеша в оперативной памяти, 128 КБ. Однако, следует помнить, чтоб при росте размера кластера, производительность в IOPS накопителя имеет свойство снижаться.

Помимо прочего, при наличии на сервере операций чтения / записи одновременно, снижается общая производительность накопителя.

Потому, я бы рекомендовал, либо, парсить контент настолько равномерно, насколько это возможно, либо использовать дополнительный SSD-накопитель для кеша и парсинга.

Однако однозначно, с целью обеспечения максимального значения IOPS, лучше брать сервер с большим количеством дисков меньшего объема, нежели сервер с меньшим количеством дисков большего объема.

Вывод:

12 дисков в RAID10 - это минимум то, что Вам необходимо для комфортной работы, возможно следует использовать SAS, а не SATA.

Либо меньшее количество + SSD для парсинга и возможно популярных файлов, либо большее количество RAM в сервере в зависимости от требований.

Подключение - 1 Гбит / с, лимит трафика от 10 ТБ в месяц.

Для отказоустойчивости можно создать кластер из 2-х таких серверов.