Sly32#: И мамба решает проблему attention а не весов
Так я об этом и говорил.
Sly32#: Назови хоть одну - которую ты готов решить?
Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.
Собираюсь вот свою тему создать по челенджу, настроил OBS для записи видео, но откладываю уже несколько недель. Запущусь надо будет и разработкой сайтов заниматься и на Rust хочется пописать...
Sly32#: Ты про мамба узнал полчаса назад когда я написал. Но как обычно недогуглил. трансформер = огромная композиция матричных умножений + нелинейностей. поэтому и спрос такой стал на GPU, что матричные вычисления отлично параллелятся - то в чем силен видеопроц. почитай что такое attention, двоечник. которве лежат в основе трансформера. И какой у них недостаток А потом почему мамба их решает. А потом какой у нее недостаток. Точнее у алгоритма, который онжит в основе. Даже не напишу название - сам ищи. Вот когда ответишь на все эти вопросы - приходи спорить и упрекать.
Не решает эта Mamba проблемы скорости вычислений, и мне плевать что ты там нагуглил, вот реально тебе ответишь ты ещё кучу бреда напишешь, помнится как то ты тоже не у места написал про Mamba, я тогда ничего не ответил и правильно, сейчас вот уже жалею, что ввязался. Мамба сжимает содержание\контент вот и всё, да немного ускоряется, но сами алгоритмы вычисления весов так и остались, а именно это и затратно. Так что по большому счёту что Mamba, что трансформер один хрен.
Александр Воробьев#: У тебя в любом обсуждении мерещатся нападки на тебя? Я просто пытаюсь состыковать термины.
Ну т.е. админка, это отдельный модуль у тебя не являющийся обязательным?
Да. Сделал для удобства и у меня называется не админка, а контрольная панель вроде, для настройки конфига, добавления, удаления шрифтов, основных css, файлы и типа phpmyadmin.
А админка у каждого модуля своя, например те же магазин, форум и др. там конкретные настройки под модуль уже как в CMS
ЗЫ. В моём понимании у меня фреймворк. А то что я показывал как что на нём делать это к CMS имеет отдалённое отношение. Да можно будет сделать модуль с xml инструкциями страниц. Пользователь установит этот модуль и получит магазин или форум или админку к тому или иному.
Sly32#: Перестань страдать фигней, давай обсуждать реальные вещи а не добывать в очрередной раз кремний из песка чтобы сложить 2+2
Чего б ты понимал.. фигнёй страдаешь как раз ты.
Матричные вычисления я просто назвал что бы ты понимал, но там нет никаких матричных вычислений на самом деле. Там есть массивы, векторы чисел, которые преобразуются нейронами, вход может быть несколько чисел выход одно и тп.
Про Mamba я знаю давно, и там суть другая, не ускорение вычислений, а сжатое запоминание содержания. Ты как всегда услышал звон и не знаешь где он. Умеешь гуглить, но не умеешь думать.
ЗЫ. Короче, занимайся своим делом, а я буду своим заниматься.
Да притом. Вот ты сейчас играешься и говоришь, что у тебя процессор загружен и тд. Ты знаешь рак работают нейросети. И при этом у тебя даже мысли не возникает, что можно же как то сделать по другому, что матричные вычисления в дробных числах это очень затратно и тд. Соображение напрочь отсутствует, чего такому объяснить то можно. Извини, но это бестолковые занятие, я не смогу объяснить то, что просто очевидно, то до чего сам можешь додуматься. Но этого не происходит и объяснения тут никакие не помогут.
Александр Воробьев#: Чем отличается, в твоем понимании, cms от фулстекыреймворка?
Фреймворк - это инструмент облегчающий и ускоряющий работу, в нём нет полностью готовых рабочих проектов.
А CMS - это уже готовый проект(блог, магазин и тд.) который при необходимости можно менять, что-то добавлять, удалять уже готовые компоненты. Ну и контентом наполнить.
Sly32#: Пойму - Rust такой же ЯП как и остальные - нет никакой сложности прочитаить код для меня. все что ты пишешь - отговорки и непонятно зачем. Ты вместо того чтобы вместе учиться постоянно срываешься на оскорбления и нападки - зачем? чего ты этим добиваешься. Ты можещ спросить у друших тут как выглядят твои ответы. Для меня - это общение с обиженным на весь мир школьником. Прекращай Никто тут не меряется крутостью. Есть знания - делись, указывай на ошибки. А не бросайся словами, а то получается как почтальон печкин с посылкой. Несерьезно для взрослого человека
Я ранее уже говорил, что хочу на Rust написать свои ЯП, с модулями: базы данных, веб-сервер, нейросетью и др. для микросервисной системы.
ЗЫ. Для нейросети мне готовые либы на Rust не подходят, не то, что пайтоновские. Я хочу сделать целочисленные алгоритмы сразу без квантования. И с встроенной базой знаний и др. возможностями которые с существующими решениями я не смогу просто реализовать. Да есть проблема точности, но для мини нейросети это будет не критично.
Фреймворк я свой сделал, да есть ещё доработки с базой так пока и не переделал, но думаю это в процессе доделаю.
ЗЫ. Даже если я буду тебе объяснять что и как хочу написать на Rust, не поймёшь и тем более ничем не поможешь, так что не вижу смысла тратить на это время.
Фреймворки разные бывают. Одни заточенные под одно направление, такие как бутстрап под UI в основном на css, или js типа react, vue и тд. Есть бэкэнд фреймворк по типу Laravel. А есть фулстэк, бэк и фронт, с движком, с стилями, с js.
И мамба решает проблему attention а не весов
Так я об этом и говорил.
Назови хоть одну - которую ты готов решить?
Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.
Собираюсь вот свою тему создать по челенджу, настроил OBS для записи видео, но откладываю уже несколько недель. Запущусь надо будет и разработкой сайтов заниматься и на Rust хочется пописать...
Ты про мамба узнал полчаса назад когда я написал. Но как обычно недогуглил. трансформер = огромная композиция матричных умножений + нелинейностей. поэтому и спрос такой стал на GPU, что матричные вычисления отлично параллелятся - то в чем силен видеопроц.
почитай что такое attention, двоечник. которве лежат в основе трансформера.
И какой у них недостаток
А потом почему мамба их решает. А потом какой у нее недостаток. Точнее у алгоритма, который онжит в основе. Даже не напишу название - сам ищи.
Вот когда ответишь на все эти вопросы - приходи спорить и упрекать.
Не решает эта Mamba проблемы скорости вычислений, и мне плевать что ты там нагуглил, вот реально тебе ответишь ты ещё кучу бреда напишешь, помнится как то ты тоже не у места написал про Mamba, я тогда ничего не ответил и правильно, сейчас вот уже жалею, что ввязался. Мамба сжимает содержание\контент вот и всё, да немного ускоряется, но сами алгоритмы вычисления весов так и остались, а именно это и затратно. Так что по большому счёту что Mamba, что трансформер один хрен.
У тебя в любом обсуждении мерещатся нападки на тебя? Я просто пытаюсь состыковать термины.
Ну т.е. админка, это отдельный модуль у тебя не являющийся обязательным?
Да. Сделал для удобства и у меня называется не админка, а контрольная панель вроде, для настройки конфига, добавления, удаления шрифтов, основных css, файлы и типа phpmyadmin.
А админка у каждого модуля своя, например те же магазин, форум и др. там конкретные настройки под модуль уже как в CMS
Т.е. в моем представлении это CMS.
Да представляй как хочешь, мне без разницы.
ЗЫ. В моём понимании у меня фреймворк. А то что я показывал как что на нём делать это к CMS имеет отдалённое отношение. Да можно будет сделать модуль с xml инструкциями страниц. Пользователь установит этот модуль и получит магазин или форум или админку к тому или иному.
Перестань страдать фигней, давай обсуждать реальные вещи а не добывать в очрередной раз кремний из песка чтобы сложить 2+2
Чего б ты понимал.. фигнёй страдаешь как раз ты.
Матричные вычисления я просто назвал что бы ты понимал, но там нет никаких матричных вычислений на самом деле. Там есть массивы, векторы чисел, которые преобразуются нейронами, вход может быть несколько чисел выход одно и тп.
Про Mamba я знаю давно, и там суть другая, не ускорение вычислений, а сжатое запоминание содержания. Ты как всегда услышал звон и не знаешь где он. Умеешь гуглить, но не умеешь думать.
ЗЫ. Короче, занимайся своим делом, а я буду своим заниматься.
Да причем тут то что ты хочешь?
Да притом. Вот ты сейчас играешься и говоришь, что у тебя процессор загружен и тд. Ты знаешь рак работают нейросети. И при этом у тебя даже мысли не возникает, что можно же как то сделать по другому, что матричные вычисления в дробных числах это очень затратно и тд. Соображение напрочь отсутствует, чего такому объяснить то можно. Извини, но это бестолковые занятие, я не смогу объяснить то, что просто очевидно, то до чего сам можешь додуматься. Но этого не происходит и объяснения тут никакие не помогут.
Чем отличается, в твоем понимании, cms от фулстекыреймворка?
Фреймворк - это инструмент облегчающий и ускоряющий работу, в нём нет полностью готовых рабочих проектов.
А CMS - это уже готовый проект(блог, магазин и тд.) который при необходимости можно менять, что-то добавлять, удалять уже готовые компоненты. Ну и контентом наполнить.
ЗЫ. Мне ли тебе объяснять..
Пойму - Rust такой же ЯП как и остальные - нет никакой сложности прочитаить код для меня.
все что ты пишешь - отговорки и непонятно зачем. Ты вместо того чтобы вместе учиться постоянно срываешься на оскорбления и нападки - зачем? чего ты этим добиваешься. Ты можещ спросить у друших тут как выглядят твои ответы. Для меня - это общение с обиженным на весь мир школьником. Прекращай
Никто тут не меряется крутостью. Есть знания - делись, указывай на ошибки. А не бросайся словами, а то получается как почтальон печкин с посылкой. Несерьезно для взрослого человека
Я ранее уже говорил, что хочу на Rust написать свои ЯП, с модулями: базы данных, веб-сервер, нейросетью и др. для микросервисной системы.
ЗЫ. Для нейросети мне готовые либы на Rust не подходят, не то, что пайтоновские. Я хочу сделать целочисленные алгоритмы сразу без квантования. И с встроенной базой знаний и др. возможностями которые с существующими решениями я не смогу просто реализовать. Да есть проблема точности, но для мини нейросети это будет не критично.
ты знаешь вообще как устроен ЛЛМ?
Знаю и побольше твоего.
Играться с тобой я не намерен.
Фреймворк я свой сделал, да есть ещё доработки с базой так пока и не переделал, но думаю это в процессе доделаю.
ЗЫ. Даже если я буду тебе объяснять что и как хочу написать на Rust, не поймёшь и тем более ничем не поможешь, так что не вижу смысла тратить на это время.
что ты понимаешь под определением веб Фреймворка?
Фреймворки разные бывают. Одни заточенные под одно направление, такие как бутстрап под UI в основном на css, или js типа react, vue и тд. Есть бэкэнд фреймворк по типу Laravel. А есть фулстэк, бэк и фронт, с движком, с стилями, с js.
ЗЫ. Вот у меня фулстэк.