amso

Рейтинг
25
Регистрация
10.10.2007
Artisan:
И будете полностью правы потому что есть общие способы решения задач, а пингвины ничего чужого знать не хотят и свое тоже не знают, но самое печальное что пингвины совсем не хотят учиться, ...

Клятвенно обещаю все узнать, всему научится, только избавьте нас от "общих способах решения", принятых в ms-dos'е :)))

Ну, комедия, и кому я несколькими постами ранее писал про иноды в ufs..

..ушел перечитывать Таненбаума..

Artisan:
Что и требовалось доказать,
пингвины не знают свою систему,
и совсем не хотят учиться, ...

Да-да. А я напишу, что freebsd-шники свою систему понимают по опыту работы с MS-DOS :))

kostich:
ну на мелких пакетах на самом деле меньше гигабита вылезает же...

меня пакетрейт потому и интересовал, в таких случаях с мелкими пакетами в него все и упирается.

kostich:

  • нет сетевой файловой системы с dlm когда появился GEOM то были крики, что вот вот и оно появится, т.к. отладка очень удобна... ага... который год ждем... если кто сделаем комм. предложение, то готовы оплатить разработку новья или портинг существующего. кластер в load sharing хотим человеческий, а не этот запердос на nfs или HA уповающее на безглючность arp cache в 65тых.
  • Абсолютно серьезно готовы оплатить бюджет разработки gfs/ocfs? Redhat свой gfs скрипя тянет.

    Artisan:
    И много пользы Вам принесут драйверы
    если хитрое железо их обманывает?

    Ох, какое коварное железо :))

    Artisan:

    И что Вы оценили? Что ReiserFS это B+ дерево и если испортится корень то пропадет все полностью? Или то что ReiserFS не отдает тип файла при чтении каталога? А уточнить возможные ошибки всегда полезно для освежения знаний и лучшего понимания мира.

    То, что reiserfs стал для Вам мерилом обычного в линуксе. И намекал на его экзотичность даже у самих линуксоидов. В reiserfs еще много других сюрпризов.

    Artisan:

    Вот это и есть основная печаль у пингвинов, когда они как обычно за деревьями не замечают леса. Задачу всегда надо изучать полностью, в этом случае задача в том чтобы программа пользователя могла надежно без искажений записать данные на внешний носитель, а отдельные гениальные действия железа и операционной системы это детали, которые сами по себе не имеют смысла если не выполняется основная задача.

    Хотите так решать зачаду - решайте, можете оставить меня в лесу с моим карпизным желанием решать задачи с необходимой в каждом отдельном случае детальностью. Понятие stack, видимо, зря придумывали - какая к черту разница на каком уровне случается проблема.

    Artisan:

    Я уже описывал выше как на практике получается взаимодействие с хостингом. Вы можете быть полностью уверены в том что батарейка всегда будет подключена и свежая?

    Не меньше, чем Вы в пингвинах с деревьями и коварстве железа :)

    Artisan:

    Что пнем об сову, что совой об пень,
    все равно сове будет больно, ...

    Предлагаю все-таки, начать детально разбирать проблемы, отличать одно от второго и не делать вредные обобщения.

    Artisan:

    Прочитайте еще раз выше про ext3 файловую
    систему и контрольные суммы в журнале, ...

    Только после того, как начнете "детально разбирать проблемы, отличать одно от второго и не делать вредные обобщения"

    Artisan:
    Повторю другими словами с пояснением, какое
    отношение имеет операционная система к порядку
    действий железа на который она не может влиять?

    тем, хотя бы, что прерывания есть, приоритеты, ioctl рутина и т.п. Драйверы у нас чем занимаются?

    Да, такой возможности может не быть. Но ошибочно утверждать, что ее нет вообще.

    Artisan:

    А усложнять файловую систему для того
    чтобы избежать повреждения от хитростей
    железа это отдельная печальная тема, ...
    По делу есть что написать? Или пингвины
    как обычно не замечают леса за деревьями?

    Так Вы не сваливайте все в кучу, нет у меня желания ее разгребать. Ваше "как обычно" я оценил в истории с reiserfs.

    Все что вы описали, можно рассматривать на отдельных уровнях работы, а не в куче в одном абзаце.

    А для компенсации недостатков writeback cache еще пока никто не усложняет фс. Для этого делают battaried writeback cache. И не надо путать writeback cache в диске и в контроллере.

    А фс усложняют для других случаев и еще раз - не надо все валить в кучу.

    Artisan:

    C тоже не идеал, декларации типа EQUIVALENCE в FORTRAN отсутствуют, родные non-preemptive со-программы типа как в MODULA-2 отсутствуют, поэтому приходится дорабатывать напильником, ...

    Ничего не имею сказать за fortran, близко не знаком.

    kostich:

    ну скажу что на какие-то машины у нас до 1mpps-а в штатном режиме приходится... конфиги оглашать не буду, т.к. очень долго к этому шли и потратили на это очень много денег. ларчик простой, но нервной системы откушал прилично.

    Ну, это порядки работы гигабитного 2+ считча. Хотя с учетом остальной работы по фильтрации число хорошее.

    kostich:

    ну все упирается же в деньги в итоге... для меня штат фряшников в разы приятнее чем пара линуксоидов, т.к. у первых мозги примерно одинаково работают, а у последних постоянные холивары между собой... при этом первым можно без каких либо граблей поручить поставить оракел на линукс, а последних надо долго убеждать прикоснуться к фряхе. а оно мне надо? конечно не надо... по этому и писал выше, что надо обсуждать в контексте конкретной задачи.
    надо учитывать и стоимость обслуживания, форс-мажоры с персоналом и т.д... это вообще пипец какой-то, когда на линуксе... у меня вот один ответ по поводу фряхи "вон сервак, там все из портов собрано" и чел с первого дня вливается в команду... а чего я про линукс слышу "а где дока? а кто это собирал? за что ему тут деньги платили? я нашел дыру!!! почему эти патчи не стоят?"... "а с какими опциями тут апач компилили? почему логи не в том месте?" ... да у меня мозг плавится от этого начинает.
    ps. еще бы нативный оракел и быструю жабу на фрю и цены бы ей не было... а так как говорится куда же без линукса то в хозяйстве. скоро линукс себе на десктоп поставлю... а что тут такого? фряшку под десктоп это же вообще гвоздь в голове надо иметь.

    С персоналом - это, думаю, так "повезло". Мне и freebsd-шные ортодоксы попадались.

    С унификацией в линуксе - было бы желание. Практически любой дистр можно унифицировать под себя. Если система портов из freebsd ближе - на таком же принципе можно это сделать на гентушных оверлеях.

    Artisan:
    А какое отношение имеет операционная
    система к порядку действий железа?

    здрасти, а для чего вообще операционная система?

    Artisan:

    Я хочу чтобы операционная система и железо писали на носитель в том порядке в котором я запрашиваю запись, этого вполне достаточно для целостности данных, по умолчанию у FreeBSD такое пожелание выполняется для метаданных, а запись в обычные файлы выполняется асинхронно для ускорения. А если делать sync но железо будет менять порядок записи на носитель, то целостность данных в общем случае может нарушиться например при внезапной остановке железа. Кстати если sync блокирует задачу до своего полного выполнения, то такие действия не годятся для изделий которые должны быстро отвечать на запросы, а если sync не блокирует задачу до своего полного выполнения, то задача не может быть уверена что целостность данных обеспечена.

    Свалили в одну кучу все - работу в юзерспейсе, sync и fsync, работу fs, которых много и все работают по-разному, а некоторые еще и внутри себя позволяют разные принципы работы с журналами, довалили i/o планировщики, которых тоже несколько и с разными политиками, и еще да, давайте довалим туда работу firmware контроллера, если он у нас есть.

    Artisan:

    Это называется футбол на минном поле, ...
    Не всегда есть время играть в сапера, ...

    Ага, зато всегда есть время написать на форуме, что пингвины - глючное поделие

    Если бы мы спорили о ЯП, мне бы пришлось выслушивать аргументы о том, что php/perl/python/прочие языки с динамическим выделением памяти лучше си, там меньше шансов наступить на мину/острелить себе ногу.

    kostich:

    а разделение на продакшен и тестовое только у нас одних что ли есть? мы спать хотим спокойно.

    Ну, все верно, и там, и там.

    Про режим эксплуатации - ваш случай, полагаю, это все таки экстремальный режим эксплуатации.

    kostich:

    а от TSO какая-то реальная польза есть?

    На момент включения были цифры, по моему от 10% до 40% снижения нагрузки на cpu. Сейчас с ToE это уже, наверное, не актуально.

    kostich:

    в большинстве случаев хватает всего дефолтного за что фряшка и ценна собственно... на этом я как раз и акцентирую, что вот дефолтных фишек хватает за глаза.

    Та же история и в линуксе, но видите, тут, оказывается, некоторым в большинстве случаев системы на reiserfs ставят.

    kostich:

    Если бы всё решалось L2TP, то я бы про это не упоминал. Размер пакетика в 802.1q чуть больше и когда в качестве транспорта дают только ip по хорошему линку, а сетку нужно делать однородной, то приходится идти вот на такие ухищрения. В данном случае netgraph позволяет запихнуть всё as is в udp пакеты и выдуть из другого места.

    Понял, vpn lan-to-lan называется. Ну, openvpn - он в линуксе тоже успешно работает. Есть дистр такой zeroshell, он как раз под такие задачи заточен.

    kostich:

    UPD... ну представьте себе нашу специфику (см. в подписи)... сотни тысячь запросов в секунду... вот залез на две точки посмотреть стату - на одной 13406 активных сессий, на другой 28781... выходной однако... idle фактически... а в пиках мы раздаем до 100к ответов в секунду... на новой поделке, HTTP сервере со своим стеком, мы смогли выдать какую-то фантастическую цифру, но встал вопрос за правильность тестилки... скоро будет очередная стойка с пачкой серверов и там может быть что-то дотестим более правильно.

    Хотелось бы услышать в пакетрейте в контексте конфигурации платформы, особенно на форварде интересно.

    kostich:

    И строить это будем на фряхе, т.к. все с ней в этом плане хорошо.

    Без иронии - желаю подольше оставаться уверенным в этом. Себе желаю подольше быть уверенным в своем.

    Вообще, мотив всего, чего я говорю (это предыдущим участникам ветки) - не стоит считать(особенно на основе голосований и всякой лирики), что линукс для пионеров, аfreebsd - для суровых мужчин. Это и есть самая настоящая пионерия.

    Artisan:
    Объясняю что значит на практике в ядре по умолчанию. Не всегда получается выбрать желаемое, а часто трудящиеся не знают что выбрать. Заказал я однажды VPS сервер, выбрал Slackware пингвина и ext3 файловую систему, а хостер поставил Ubuntu пингвина и ReiserFS файловую систему, потому что такое сочетание выбирает большинство их пользователей.

    Это просто анекдот

    Artisan:

    В правильном железе порядок записи на носитель сохраняет порядок запросов на запись, то есть кэширование записи на носитель не влияет на целостность данных. Ошибки возникают только когда сам порядок запросов на запись позволяет нарушить целостность данных, что получается при асинхронном режиме согласно определению. А про неправильное железо и ext3 файловую систему уже написано выше, выгоды от хитростей в железе исчезают потому что приходится усложнять файловую систему.

    Вы это тоже из практики работы с MS-DOS'ом взяли? В юниксах этот момент куда сложнее.

    Резюмируем попроще - я считаю, что достаточно просто sync'ить данные, когда есть в этом необходимость, сохраняя производительность. Вы, как я понял, хотите неотложенную запись в любом случае, то есть перенесли проблему из юзерспейса в кернелспейс. А не хотите еще для комплекта, чтобы ядро интеллектуально делало локировки файлов вместо прикладного программиста?

    Artisan:

    Там больше шансов наступить на скрытые грабли,
    потому что пингвины хуже документированы, ...

    Это и называется - отстрелить себе ногу.

    Про обширность документации на русском - надеюсь все таки, Вы авто не выбирали исходя из того, что в магазинах полно доков на русском, как чинить ВАЗ-ы.

    А код открыт, куда уж больше документации.

    kostich:
    Нельзя сравнивать новизну и стабильность, т.к. последняя идет в контексте уже существующих задачек, а первая влияет на выбор ОС под новые...

    да помилуйте, какая новизна?

    kostich:

    и тем не менее возвращаясь к яндексовским патчам на сетку могу заметить, что одними ими не ограничивается дело, т.к. было еще пара-тройка полезных творений... и что? и вот мы приходим к тому, что это все нужно только тогда, когда хочется утилизировать дорогой сервер почти под самую завязку на задачах с линейной загрузкой.

    Вам ли не знать, что бывает, когда не просто хочется, а просто необходимо выжать все возможное из платформы.

    kostich:

    все тоже решается установкой сетевой карточки с TOE, что дает в разы больше преимуществ и даже не смотря на кривизну некоторых моментов в реализации стыковки с ОС.

    В линуксовом кернеле еще раньше появилась поддержка TSO для интеловских карт, года за 2-3 до поддержки TOE

    kostich:

    Вот во фряшке есть слегка кривоватенький accf_http, а в линуксе появился deffered accept... про хронологию появления молчу, кажется она примерно такая же как и у kqueue и epoll, что наводит на мысль тупого передиралова... но в этом ничего плохого нет. Если рассмотреть принципы работы линуксового TCP_DEFER_ACCEPT и фряшного accf_http (или accf_data) то мы видем большую разницу. Во фряшке есть механизм позволяющий принимать HTTP запрос еще до момента срабатывания accept, а после усовершенствования модуля (это еще ряд полезных патчей) этот запрос можно проверять на валидность и многое другое сразу в kernel space. Надо заметить, что даже без усовершенствования модуля это очень хорошо разгружает различные серверные архитектуры на медленных конектах без дополнительного ПО. Ну пропускает он POST на прямую и что? ну небольшой проход напильничком и мы получаем sysctl-ку, которая устанавливает максимальный размер запроса принимаемого в kernel space.

    >> как и у kqueue и epoll, что наводит на мысль тупого передиралова...

    зато теперь приходится портировать epoll из линукса в freebsd заради всяких жав. :)

    Все остальное, что вы описываете - ваши собственные ядерные наработки, так? Знаете, только по этой причине я не хочу с Вами спорить в этой ветке, просто по предположению, что Ваш выбор определен практикой, а не тем, что "на заборе написано".

    kostich:

    Опенсорц опенсорцом, а зарабатывать на чем-то надо. Мне без разницы в какую ОС вкладывать деньги, но при разработке и доработке FreeBSD их нужно меньше. Если мы говорим про HTTP high load, то однозначно FreeBSD. Как минимум только из-за одного accf_http.

    Порядки чисел можете озвучить?

    UPD. не денег, порядки HTTP high load

    kostich:

    Далее предлагаю обратить внимание на netgraph, которым большинство не умеет пользоваться и по сей день. Представьте себе, что штатными средствами решается гигантская масса сетевых решений. Нужен 802.1q тунельчик? г-но вопрос... скриптик из нескольких строчек и вот он бриджик упаковывающий данные из одной сетевухи и выкидывающий к примеру по UDP в другую на другой конец света.

    Не совсем понял про .1q на другой конец света? у вас общий layer2 с этим другим концом света?

    Подозреваю, Вы это о L2TP. И чего? Для линукса VPN-ы недостижимое дело?

    ng_fec использует кто? подскажите мне пожалуйста аналог ng_fec под линукс?

    в линуксе это называется bonding

    $kernel_src/Documentation/networking/bonding.txt

    Artisan:
    Не в коробку, а в "ядро у пингвинов", ...

    SLES это коробка, а не "ядро у пингвинов".

    Artisan:

    Кэширование есть но асинхронное по умолчанию выключено, ...

    Во первых какого года этот текст? Посмотрите, когда вышел кернел 2.4.15, в котором появился ext3.

    Во вторых - Вы еще начните для комплекта утверждать, что контроллеры без write back cache лучше, потому что без него меньше шансов потерять данные.

    Вопрос о пионерии остается в силе. Теперь уже в контексте - линукс хуже, потому что там больше шансов отстрелить себе ногу.

    Всего: 196