Вы по прежнему не указали количество хостов\хитов в сутки на вашем ресурсе, это элементарные параметры, без них вам ни кто тут ничего не скажет по сути.
При условии что это чистый html разбитый на директории я вообще проблемы не вижу, 1 perl сценарий решит проблему... Если панелька то API и вперед, если нет, то шаблон к httpd.conf и тоже вперед :D Но бесплатно даже так делать не имеет смысла ибо реально 2000.....
Таки угадал :D :D, нет , пожалуй я знал! :D :D
(Я искренне надеюсь , что вы ошиблись относя JumboFrame к прикладному уровню OSI или что тогда "сетевой сервис"?)
А я разве сказал обратное? Я просто удостоверил вашу позицию, сказав, что при правильном оперировании кешом - будет счастье, а отдавать 20TRB как вы сказали естественно из памяти мало кто сможет, но думаю это все таки реально :) Не такая уж и заоблачная цифра для памяти что бы разнести это на кластер машинок, другой вопрос сколько это будет стоить и есть ли смысл в этом, так что склоняюсь к своевременной очистке кеша от ненужных данных, однако память то она оперативная.. :) Это ж не ПЗУ вам какое-то :D
И каков же по вашему мнению источник проблем, при условиях описанных выше? Проверки по сетевым интерфейсам никаких аномалий не показали, так же путем банального ICMP ping было проверено что из 10.000 пакетов потери составили 0% .... как еще это можно описать? карма?
А ошибка была как раз из серии "мистика", Timeout и все... куда уж тут конкретнее? глубже не ковыряли, решили просто отказаться... сама по себе скажем так "из коробки" схема не зажила, по этому к NFS у меня родилось ярое отвращение :( Но это субъективно на моем примере, но поверьте после такого теста рекомендовать его использовать я не буду, уж лучше самбу смонтировать или сырой glusterfs поднять чем NFS - IMHO.
Тут вы просто капитан очевидность :) что еще сказать, но вот спросите у ТС , ему надо оперировать 200 TRB данных ? или 20 TRB ? я че-то уверен что там и 1го TRB нету.... по этому земные объемы памяти ему вполне могут помочь.
Кстати из подобных по объему решений тестировал максимально массив ~50 TRB, при ужасно дорогом контролере стоимостью около 1k$ (Adaptec).
Спрашивайте, я не особый знаток NFS, я рассказал о том, что тестировал.
Джамбофреймы для увеличения производительности сети - угадал ? 🤣D:D
Причем тут одно к другому, я что сказал что он просто отваливается и все ? тишина? Тут тема не об этом, я рассказывал в другой теме на этом же форуме о том, как оно отваливается и почему, ловили Timeout... но пояснить его причины закономерными фактами не удалось, сервера в порядке, связь в порядке (проверено альтернативными тестами, т.е нет потерь, нет ошибок, нет коллизий, так же не падали порты в которые воткнуты ноды и прочее, или думаете я полгода наблюдал и не нашел причины в логах ??? :) ) и при всей вашей любви к джамбофреймам замечу, что таковые настройки не использовались, но простите, если NFS не работает нормально при стандартном размере кадра, то о чем можно говорить ? Вы еще скажите что для его нормальной работы надо пару свичей правильных купить, тогда я вас вовсе зауважаю :))))
P.S: Так же отдельно замечу что надобности в использовании нестандартных кадров не было, так как кластер к нодам передавал че-то около 30-50Mb/s :))) Т.е утилизация была вполне штатной.
Romka_Kharkov добавил 03.06.2011 в 02:48
А это сколько миллиардов*миллиарды аватар ?:))))
ТС, есть такое вот решение:
/ru/forum/comment/7069575
А для любителей и ценителей NFS поясняю - оно не работает !!! Просто и доступно, имел очень хороший опыт работы с NFS когда обсматривали панельку Interworx , там есть собственная система кластеризации основанная на NFS, полугодичный тест системы всего то из 4х нод показал что 2-3-4-5 раз в неделю стабильно отваливается NFS, и именно он, ни тачка падает, ни каналы рвутся (везде 100Mb/s в приделах одной стойки), а просто теряется связь по NFS с нодами на которых разложен контент. Пример конечно не ярко описывает работу именно самого NFS но проблема в нашем случае были именно с ним ...... так как все остальные сервисы работают на ура, только вот контент не отдают, потому что он за NFS на соседней машине, открестился от использования такого рода системы сразу же .
Что касается альтернатив, куда лучше и проще например сливать через rsync данные даже при условии что изначально они будут попадать на основной сервер а не на тот который предназначен под картинки.... чем использовать NFS....
Андрейкин пример с xFS это конечно прикольно и я бы сказал правильно, но что-то гложет меня сомнение ввиду просмотра одного из его выступлений, где он ссылаясь на каких-то Cisco специалистов утверждает что схема кластеризации будет работать - такой подход я не разделяю :)
Romka_Kharkov добавил 03.06.2011 в 02:35
Процент вывести достаточно сложно, но скажу вам так , что в приделах 200 GB картинок (именно картинок) 3 сервера по 4 GB памяти, справляются с актуальными данным на ура. Т.е задействовано не более 10 GB памяти, естественно остальное подчитывается по требованию. (squid)
Актуальными данными в моем случае принято считать 5-10 % от общей массы, потому как есть скажем так "новые картинки" которые сейчас смотрят тысячи люде на разных сайтах, а есть картинки которые запрашивались полгода назад последний раз или запрашиваются 1 раз в полгода :)) Конечно если ВСЕ положить в память..... епта, не хватит памяти.... :)))) Мне кажется надо правильно оперировать кешом и будет счастье :)
Для HTML сайтов подойдет без вопросов. Перенос 20$ разово при условии, что ДНС вы повернете сами, а так же нет почты и прочего связанного с доменами (только html).
+1
ТС, у нас есть клиенты которые при "большой посещаемости" берут 10 выделенных серверов и строят ферму. О каком уровне вы говорите? 10k ? 100k ? 1mln ? 10mln ? (в сутки)
Я думаю что можно немного выиграть с точки зрения цены, в Германии будет сервер дешевле (аренда) чем в RU (субъективно). Но если вы говорите о сайтах , то думаю что разницы в скорости и прочем вы не получите.
andragen,
Абстрагируйтесь, разница пингов откуда и куда?
Из Украины в Россию у меня например ~20-30ms , а в Канаду ~150ms, но на HTTP трафике (открытии страниц) отличить это просто нереально.
P.S: Никто не даст вам перенести российский ИП куда-то в Германию или еще куда :) У вас там будет новый , Немецкий ип...
Romka_Kharkov добавил 02.06.2011 в 19:11
Как-то самоуверенно что ли :D
Ниже чем где? Ниже чем откуда до куда? Внутри MSK-IX наверное пинги лучше чем за границу, спорить нет смысла, но это все равно что сказать что у меня в UA-IX пинги ниже чем в MSK-IX :)))) Трафик то он ходит не только по точкам обмена :)
А на мой взгляд MRTG это и есть адронный-коллайдер..... почему не использовать rrdtool + perl например, вы все равно для MRTG вынимаете информацию внешними скриптами, так пихайте её в RRD базы и стройте графики любого типа, цвета, и.т.п.... MRTG перестал использовать много лет назад.
