Челендж на 2026

Александр Воробьев
На сайте с 03.02.2020
Online
62
#451
ArbNet #:
Да представляй как хочешь, мне без разницы.
У тебя в любом обсуждении мерещатся нападки на тебя?  Я просто пытаюсь состыковать термины. 
ArbNet #:
ЗЫ. В моём понимании у меня фреймворк. А то что я показывал как что на нём делать это к CMS имеет отдалённое отношение. Да можно будет сделать модуль с xml инструкциями страниц. Пользователь установит этот модуль и получит магазин или форум или админку к тому или иному.

Ну т.е. админка, это отдельный модуль у тебя не являющийся обязательным? 

ArbNet
На сайте с 27.10.2019
Offline
151
#452
Александр Воробьев #:
У тебя в любом обсуждении мерещатся нападки на тебя?  Я просто пытаюсь состыковать термины. 

Ну т.е. админка, это отдельный модуль у тебя не являющийся обязательным? 

Да. Сделал для удобства и у меня называется не админка, а контрольная панель вроде, для настройки конфига, добавления, удаления шрифтов, основных css, файлы и типа phpmyadmin.

А админка у каждого модуля своя, например те же магазин, форум и др. там конкретные настройки под модуль уже как в CMS

ArbNet
На сайте с 27.10.2019
Offline
151
#453
Sly32 #:
Ты про мамба узнал полчаса назад когда я написал. Но как обычно недогуглил. трансформер = огромная композиция матричных умножений + нелинейностей. поэтому и спрос такой стал на GPU, что матричные вычисления отлично параллелятся  - то в чем силен видеопроц.
почитай что такое attention,  двоечник. которве лежат в основе трансформера.
И какой у них недостаток
А потом почему мамба их решает. А потом какой у нее недостаток. Точнее у алгоритма, который онжит в основе. Даже не напишу название - сам ищи.
Вот когда ответишь на все эти вопросы - приходи спорить и упрекать.

Не решает эта Mamba проблемы скорости вычислений, и мне плевать что ты там нагуглил, вот реально тебе ответишь ты ещё кучу бреда напишешь, помнится как то ты тоже не у места написал про Mamba, я тогда ничего не ответил и правильно, сейчас вот уже жалею, что ввязался. Мамба сжимает содержание\контент вот и всё, да немного ускоряется, но сами алгоритмы вычисления весов так и остались, а именно это и затратно. Так что по большому счёту что Mamba, что трансформер один хрен.

S3
На сайте с 29.03.2012
Offline
387
#454

Итак, итоги моего дня. В результате работы со своей моделью пришел к выводу что крайне сложно обучить нормальную модель на маленьком датасете.  Менял токенизацию, параметры - не работает. Итого варианты
1. Собрать больше данных - нужно от 30 мегабайт данных для обучения
2. Использовать  готовую модель от оллама и дообучить - это размер и время

3. Плюнуть и стрпться на RAG
Если нужны подробности  - спрашивайте

S3
На сайте с 29.03.2012
Offline
387
#455
ArbNet #:
Мамба сжимает содержание\контент вот и всё,
нет - никакого отношения к сжатию она не имеет.
ArbNet #:
но сами алгоритмы вычисления весов так и остались, а именно это и затратно.

то есть у тебя есть другой алгоритм?

И мамба решает проблему attention  а не весов.
на сегодня есть несколько альтернатив но ни одна не реализована по многим причинам.
Назови хоть одну - которую ты готов решить?


ArbNet
На сайте с 27.10.2019
Offline
151
#456
Sly32 #:
И мамба решает проблему attention  а не весов

Так я об этом и говорил.

Sly32 #:
Назови хоть одну - которую ты готов решить?

Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.

Собираюсь вот свою тему создать по челенджу, настроил OBS для записи видео, но откладываю уже несколько недель. Запущусь надо будет и разработкой сайтов заниматься и на Rust хочется пописать...

Александр Воробьев
На сайте с 03.02.2020
Online
62
#457
ArbNet #:
Собираюсь вот свою тему создать по челенджу, настроил OBS для записи видео, но откладываю уже несколько недель. Запущусь надо будет и разработкой сайтов заниматься и на Rust хочется пописать...
Дело конечно твое. Но зачем "свою"? Эта же не персонализированная какая то. А так главное начинай... А то уж 4 месяца прошло. 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий