Челендж на 2026

Александр Воробьев
На сайте с 03.02.2020
Offline
63
#451
ArbNet #:
Да представляй как хочешь, мне без разницы.
У тебя в любом обсуждении мерещатся нападки на тебя?  Я просто пытаюсь состыковать термины. 
ArbNet #:
ЗЫ. В моём понимании у меня фреймворк. А то что я показывал как что на нём делать это к CMS имеет отдалённое отношение. Да можно будет сделать модуль с xml инструкциями страниц. Пользователь установит этот модуль и получит магазин или форум или админку к тому или иному.

Ну т.е. админка, это отдельный модуль у тебя не являющийся обязательным? 

ArbNet
На сайте с 27.10.2019
Offline
151
#452
Александр Воробьев #:
У тебя в любом обсуждении мерещатся нападки на тебя?  Я просто пытаюсь состыковать термины. 

Ну т.е. админка, это отдельный модуль у тебя не являющийся обязательным? 

Да. Сделал для удобства и у меня называется не админка, а контрольная панель вроде, для настройки конфига, добавления, удаления шрифтов, основных css, файлы и типа phpmyadmin.

А админка у каждого модуля своя, например те же магазин, форум и др. там конкретные настройки под модуль уже как в CMS

ArbNet
На сайте с 27.10.2019
Offline
151
#453
Sly32 #:
Ты про мамба узнал полчаса назад когда я написал. Но как обычно недогуглил. трансформер = огромная композиция матричных умножений + нелинейностей. поэтому и спрос такой стал на GPU, что матричные вычисления отлично параллелятся  - то в чем силен видеопроц.
почитай что такое attention,  двоечник. которве лежат в основе трансформера.
И какой у них недостаток
А потом почему мамба их решает. А потом какой у нее недостаток. Точнее у алгоритма, который онжит в основе. Даже не напишу название - сам ищи.
Вот когда ответишь на все эти вопросы - приходи спорить и упрекать.

Не решает эта Mamba проблемы скорости вычислений, и мне плевать что ты там нагуглил, вот реально тебе ответишь ты ещё кучу бреда напишешь, помнится как то ты тоже не у места написал про Mamba, я тогда ничего не ответил и правильно, сейчас вот уже жалею, что ввязался. Мамба сжимает содержание\контент вот и всё, да немного ускоряется, но сами алгоритмы вычисления весов так и остались, а именно это и затратно. Так что по большому счёту что Mamba, что трансформер один хрен.

S3
На сайте с 29.03.2012
Offline
389
#454

Итак, итоги моего дня. В результате работы со своей моделью пришел к выводу что крайне сложно обучить нормальную модель на маленьком датасете.  Менял токенизацию, параметры - не работает. Итого варианты
1. Собрать больше данных - нужно от 30 мегабайт данных для обучения
2. Использовать  готовую модель от оллама и дообучить - это размер и время

3. Плюнуть и стрпться на RAG
Если нужны подробности  - спрашивайте

S3
На сайте с 29.03.2012
Offline
389
#455
ArbNet #:
Мамба сжимает содержание\контент вот и всё,
нет - никакого отношения к сжатию она не имеет.
ArbNet #:
но сами алгоритмы вычисления весов так и остались, а именно это и затратно.

то есть у тебя есть другой алгоритм?

И мамба решает проблему attention  а не весов.
на сегодня есть несколько альтернатив но ни одна не реализована по многим причинам.
Назови хоть одну - которую ты готов решить?


ArbNet
На сайте с 27.10.2019
Offline
151
#456
Sly32 #:
И мамба решает проблему attention  а не весов

Так я об этом и говорил.

Sly32 #:
Назови хоть одну - которую ты готов решить?

Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.

Собираюсь вот свою тему создать по челенджу, настроил OBS для записи видео, но откладываю уже несколько недель. Запущусь надо будет и разработкой сайтов заниматься и на Rust хочется пописать...

Александр Воробьев
На сайте с 03.02.2020
Offline
63
#457
ArbNet #:
Собираюсь вот свою тему создать по челенджу, настроил OBS для записи видео, но откладываю уже несколько недель. Запущусь надо будет и разработкой сайтов заниматься и на Rust хочется пописать...
Дело конечно твое. Но зачем "свою"? Эта же не персонализированная какая то. А так главное начинай... А то уж 4 месяца прошло. 
S3
На сайте с 29.03.2012
Offline
389
#458
ArbNet #:
Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.
Для того, чтобы это продумывать - нужно иметь знания, а ты банально не понимаешь матричные операции. Оперируй реальными понятиями в беседе а не тем, что у тебя в голове. Твоя большая проблема - отсутствие базы, причем полное. Обрывки знаний из середины и абсолютное неумение их систематизировать.
хочешь инсайд? Знаешь как я легко понимаю когда ты врешь? Ты начинаешь сначала оперировать абстрактными понятиями, типа вот - "в моей голове" а еще вместо ответов начинаешь писать - "тебе не понять", ну и классический переход на личности. Затем когда я тебя все таки раздергиваю, не отстаю, ты начинаешь гуглить, но так как систематизировать знания ты не умеешь - очень редко попадаешь в правильные ответ. А я специально сначала стараюсь не давать ключевые слова. И только потом, когда я начинаю приводить примеры, как мамба, типы алгоритмов - твои ответы превращаются во что-то связное. Но они все равно обрывочны- матрицы, массивы - ты путаешь базовые термины. Если бы ты давно занимался этой темы - ты бы оперировал понятными, общепринятыми. 
Так что чисто дружеский совет тебе - меняй стиль общения - и тебе и нам будет интереснее и толку  больше. Неохота тратить время на препирания в технической теме.
ArbNet
На сайте с 27.10.2019
Offline
151
#459
Sly32 #:
Для того, чтобы это продумывать - нужно иметь знания, а ты банально не понимаешь матричные операции. Оперируй реальными понятиями в беседе а не тем, что у тебя в голове. Твоя большая проблема - отсутствие базы, причем полное. Обрывки знаний из середины и абсолютное неумение их систематизировать.
хочешь инсайд? Знаешь как я легко понимаю когда ты врешь? Ты начинаешь сначала оперировать абстрактными понятиями, типа вот - "в моей голове" а еще вместо ответов начинаешь писать - "тебе не понять", ну и классический переход на личности. Затем когда я тебя все таки раздергиваю, не отстаю, ты начинаешь гуглить, но так как систематизировать знания ты не умеешь - очень редко попадаешь в правильные ответ. А я специально сначала стараюсь не давать ключевые слова. И только потом, когда я начинаю приводить примеры, как мамба, типы алгоритмов - твои ответы превращаются во что-то связное. Но они все равно обрывочны- матрицы, массивы - ты путаешь базовые термины. Если бы ты давно занимался этой темы - ты бы оперировал понятными, общепринятыми. 
Так что чисто дружеский совет тебе - меняй стиль общения - и тебе и нам будет интереснее и толку  больше. Неохота тратить время на препирания в технической теме.

Вот всё это сказанное касается тебя. Только у меня есть знания, пусть я не оперирую общепринятыми терминами, потому как беру информацию из памяти, когда где то читал, тестил и тд. и пытаюсь сказать именно своими словами, как могу.

А по тебе сразу видно ни буб-бум информация взята из интернета, за частую даже не относящаяся к разговору, ссылаешься на готовые решения, в которые ты даже вникнуть не смог, так что-то поверхностно, слышу звон и не знаю где он.

ЗЫ. Плюс у тебя отсутствует соображение, это не оскорбление, лично мне это сразу бросается в глаза, поэтому я об этом и говорю, чтобы ты начал думать своей головой, а не только ссылаться на разные источники. Мне достаточно посмотреть на продукт как он работает, даже не смотря на код, я могу сразу выявлять ,что в нём плохо, а уж если ещё и код посмотрю тем более. Да я не могу это объяснить потому как это невозможно объяснить тут нужно именно соображение, всё на поверхности, кто соображает тому всё сразу очевидно и без объяснений. А тебе хоть даже и пытайся объяснить всё бесполезно. Всё придумали до нас, всё сделали до нас, всё супер, делай как пишут в книжках, интернете..

Александр Воробьев
На сайте с 03.02.2020
Offline
63
#460
ArbNet #:
Мне достаточно посмотреть на продукт как он работает, даже не смотря на код, я могу сразу выявлять ,что в нём плохо, а уж если ещё и код посмотрю тем более
Ну, а можешь в рамках челенджа про мой фреймворк что то сказать? Есть: дока, код, есть пример реализации простенького сервиса. Ну уж если умеешь ориентироваться в коде, есть и модуль шаблонизатора (в разработке, но тем не менее)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий