Sly32

Рейтинг
389
Регистрация
29.03.2012
Должность
Software engineer
ArbNet #:
Только у меня есть знания, пусть я не оперирую общепринятыми терминами, потому как беру информацию из памяти, когда где то читал, тестил и тд. и пытаюсь сказать именно своими словами, как могу.
Почему в памяти у тебя информация не хранится в правильном формате? Если ты что-то прочитал и понял - у тебя не возникнет больших сложностей хотябы придерживаться правильной терминологии.  Вот для тебя нэйминг - пустой звук, паттерны проектирования - тоже.  Если ты не можешь ясно изложить свою мысль - значит этой мысли нет.
ArbNet #:
А по тебе сразу видно ни буб-бум информация взята из интернета

Я практически никогда не пишу о темах, которые мне далеки - ты мог бы это заметить уже. Даже по форуму - я вообще не захожу в темы, которые вне сферы моих интересов. Да, я постоянно гуглю перед ответом, сверяюсь с ИИ. Но это для того, чтобы изложить свою мысль понятнее и точнее. Могу забыть какое то слово, термин. Что толку выкладывать кашу из головы. А так я даю тебе понятный и структурированный ответ, более того - сам перезапоминаю информацию эту. Но я не стану писать про то, что для меня темный лес. Я начал излагать факты по  строению нейросетей только после того как полез, вспомнил элементраную математику, что в них используется и как. Чтобы не выдать такие перлы как ты про матрицы. Мне было бы стыдно такое писать.

ArbNet #:
Плюс у тебя отсутствует соображение, это не оскорбление, лично мне это сразу бросается в глаза, поэтому я об этом и говорю

Ну, аргументируй на примерах, я не против увидеть свои пробелы.

ArbNet #:
Мне достаточно посмотреть на продукт как он работает, даже не смотря на код, я могу сразу выявлять ,что в нём плохо

Почему же ты не смог этого сделать на примере моего сервиса, я дал тебе ссылку. Давай, как программист - оцени что именно плохо там, не общими словами.

ArbNet #:
Всё придумали до нас, всё сделали до нас, всё супер, делай как пишут в книжках, интернете..

Что бы делать лучше - нужно сначала узнать как уже сделано. Очень рекомендую

ArbNet #:
Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.
Для того, чтобы это продумывать - нужно иметь знания, а ты банально не понимаешь матричные операции. Оперируй реальными понятиями в беседе а не тем, что у тебя в голове. Твоя большая проблема - отсутствие базы, причем полное. Обрывки знаний из середины и абсолютное неумение их систематизировать.
хочешь инсайд? Знаешь как я легко понимаю когда ты врешь? Ты начинаешь сначала оперировать абстрактными понятиями, типа вот - "в моей голове" а еще вместо ответов начинаешь писать - "тебе не понять", ну и классический переход на личности. Затем когда я тебя все таки раздергиваю, не отстаю, ты начинаешь гуглить, но так как систематизировать знания ты не умеешь - очень редко попадаешь в правильные ответ. А я специально сначала стараюсь не давать ключевые слова. И только потом, когда я начинаю приводить примеры, как мамба, типы алгоритмов - твои ответы превращаются во что-то связное. Но они все равно обрывочны- матрицы, массивы - ты путаешь базовые термины. Если бы ты давно занимался этой темы - ты бы оперировал понятными, общепринятыми. 
Так что чисто дружеский совет тебе - меняй стиль общения - и тебе и нам будет интереснее и толку  больше. Неохота тратить время на препирания в технической теме.
alaev #:
стали жертвами маркетинга. 
Жертва маркетинга тут одна и это ты. Не знаю какими лучами тебя облучают что генерируешь такой бред. Ты в точности как та ЛЛМ которую я счас пишу в споре с арбнетом - выдает бессвязную чушь. Ну так она и только создается - как младененц. А ты же вроде мужичок в возрасте...
Ты когда научишься читать то, что пишут, прежде чем отвечать, вот просто интересно?
alaev #:
Арабы не являются неграми. Арабы - семиты.
Как происхождение относится к тому что мы обсуждаем? оставь эти своим минутки бесполезных фактов! А реальный факт - то что кожа с темным пигментом- меланином поглощает и рассеивает солнечный свет. А моя белая ультрафиолет пропускает. И крем помогает защите. Как - неважно, главное что работает. То что ты утверждаешь - точно так же как говорить что панамка на голове не защитит от солнечного света. Учи темы, прежде чем спорить!
ArbNet #:
Мамба сжимает содержание\контент вот и всё,
нет - никакого отношения к сжатию она не имеет.
ArbNet #:
но сами алгоритмы вычисления весов так и остались, а именно это и затратно.

то есть у тебя есть другой алгоритм?

И мамба решает проблему attention  а не весов.
на сегодня есть несколько альтернатив но ни одна не реализована по многим причинам.
Назови хоть одну - которую ты готов решить?


Итак, итоги моего дня. В результате работы со своей моделью пришел к выводу что крайне сложно обучить нормальную модель на маленьком датасете.  Менял токенизацию, параметры - не работает. Итого варианты
1. Собрать больше данных - нужно от 30 мегабайт данных для обучения
2. Использовать  готовую модель от оллама и дообучить - это размер и время

3. Плюнуть и стрпться на RAG
Если нужны подробности  - спрашивайте

alaev #:

Местное население такой фигней не страдает.

Если ты считаешь, что твоя кожа чем-то отличается от кожи араба, то ты не прав.

конечно отличается - в наличии защитного пигментаЮ Про загар слыхал? Почему в Африке у аборигенов темная кожа - знаешь? Неужели вообще у тебя так все плохо со занниями? в это дело на не в 
alaev #:
Дело в другом - отсутствии критического мышления.
😂 ну что за день сегодня... то математике  меня учит двоецник, ткпкрь откровения про кожу.... А я понял - ты из поляков записал меня в афробелоруса)))
ArbNet #:
но там нет никаких матричных вычислений на самом деле.
Да что ты? а если проверим? При этом ты пишешь:
ArbNet #:
Там есть массивы,
Ты же писал что люил математику в техникуме? К доске идет... Арбнет! Вопрос  - какие операции с массивам вы знаете? что такое массив и что такое матрица? 😂 Садись, два!
ArbNet #:
Про Mamba я знаю давно, и там суть другая, не ускорение вычислений, а сжатое запоминание содержания.
Ты про мамба узнал полчаса назад когда я написал. Но как обычно недогуглил. трансформер = огромная композиция матричных умножений + нелинейностей. поэтому и спрос такой стал на GPU, что матричные вычисления отлично параллелятся  - то в чем силен видеопроц.
почитай что такое attention,  двоечник. которве лежат в основе трансформера.
И какой у них недостаток
А потом почему мамба их решает. А потом какой у нее недостаток. Точнее у алгоритма, который онжит в основе. Даже не напишу название - сам ищи.
Вот когда ответишь на все эти вопросы - приходи спорить и упрекать.
ArbNet #:
Короче, занимайся своим делом, а я буду своим заниматься.
Да, вот именно - я занимаюсь делом, а ты фигней страдаешь

ArbNet #:
И при этом у тебя даже мысли не возникает что можно же как то сделать по другому, что матричные вычисления в дробных числах это очень затратно и тд. Соображение напрочь отсутствует, чего такому объяснить то можно. Извини, но это бестолковые занятие, я не смогу объяснить то что просто очевидно, то до чего сам можешь одуматься. Но этого не происходит и объяснения тут никакие не помогут.

Не выпендривайся. А прочитай что я уже писал раньше.  С 23 года работают над новым( условно) алгоритмом Mamba(SSM) которому прочат замену обычному трансформеру. Знаешь отличия? Не знаешь, вот и не трынди. А я знаю. 
И еще знаю, что это работа для команд, исследователей с математическим образованием, с профессорскими степенями, а не кладовщику из техникума и даже не обладателю диплома БГУИР.

Ты уже работаешь в ОпенАИ

Да, есть одиночки-гении, которые работают над этимю Ты - не из их числа. Ты за год даже не научился правильно формулировать проблему. Только после того как я сто раз написал про матричные вычисления ты стал писать про них. Но я в тупик могу загнать парой вопросов, на спор. 

Ты вот даже не удосужился узнать различия, я прожед чем спорить - хотя бы погуглил нормально.

Перестань страдать фигней, давай обсуждать реальные вещи а не добывать в очрередной раз кремний из песка чтобы сложить 2+2

Artisan #:
«Марш энтузиастов» из
кинофильма «Светлый путь».
Может уже таблетки какие попей? булет проще держаться в контексте темы? Топик перепутал
ArbNet #:

Я ранее уже говорил, что хочу на Rust написать свои ЯП, с модулями: базы данных, веб-сервер, нейросетью и др. для микросервисной системы.

Да причем тут то что ты хочешь? Мв говорми о конкретных вещах - фреймворках. нейросетях, а не о твоих планах. Ты приходишь с неконструктивной критикой но когда тебе задаешь конкретные вопросы - ты в кусты и начинаешь чем то там прикрываться. Какая тебе разница на старте - пойму ли я или нет - ты сначал озвучь
"Вот я изучил нейросети - вот этот момент при создании неправильный - я знаю как его улучшить - надо сделать так и так..."  Это будет нормальная беседа. А не твои выдумки. Ты вот не смог понять чем отличается оллама от нейросети, начал писать о ее недостатках вместо того чтоб говорить о деле, пока тебе не сказали - ты даже не знал про ollama.cpp. Это не стыдно - не знать что-то, как ты не понимаешь. 
учеба это в первую очередь призанание факта что ты что-то не понимаешь. 
ArbNet #:

Фреймворк - это инструмент облегчающий и ускоряющий работу, в нём нет полностью готовых рабочих проектов.

А CMS - это уже готовый проект(блог, магазин и тд.) который при необходимости можно менять, что-то добавлять, удалять уже готовые компоненты. Ну и контентом наполнить.

ЗЫ. Мне ли тебе объяснять..

Видишь - ты даже не можешь сформулировать правильно что такое ФФ и CMS!
CMS - это не готовый проект! Это тоже инструмент для создания блога, магазина  итд. В отличие от фреймворка  он уже содержит какие-то готовые модули, упрошающие  создание. Например админскую часть. Но в нем есть вшитые ограничения. Например Вордпресс успользует уже структурированную базу данных, которую не очень удобно расширять - там это костыли в виде метаданных.  на основе готовых таблиц
Фреймворк же тебе дает свободу использовать базу как угодно, просто представляет(или нет) какую-то ОРМ. А ты пытаешься зашить создание таблиц в ХТМЛ.
Точно так же ларавел тебя не ограничивает в выюоре фронтенда - он отделен. А ты впился в свой XML. 
Разделяй темы о которых мы говорим и не мешай все до кучи
Сьехали на нейросети - так и будь в теме без туманных намеков.

Всего: 8111