А вообще пока что все тюнинги, новые токенизаторы и прочие улучшения приводят к все более бредовым результатам, модель превращается в "районный ИИ/экономист" 😂 Я уже почти готов сдасться и вернутсья к РАГ, отбросив идею экономии на токенах Попробую подготовить максимально большой датасет для обучения.. Вот кстати, Арбнет - тебе задачка на знание ИИ, раз уж ты изучил все про нейросети. Решается она в голове, кстати - ничего сложного Вот параметры результативной модели при обучении на 37Кб данных с 4-ми слоями и 4-мя головам, тиктокеном на 100000 слов - 330мегабайт. По размерам - норма. Насколько размер модели будет расти если я увеличу датасет, допустим до 15 Мб? Нужно знать, когда модель превысит 4Гига и потеряется смысл в тренинге, ведь тогда лучше взять готовую SLM не нужно точных цифр - примерная апроксимация
ArbNet#: Только у меня есть знания, пусть я не оперирую общепринятыми терминами, потому как беру информацию из памяти, когда где то читал, тестил и тд. и пытаюсь сказать именно своими словами, как могу.
Почему в памяти у тебя информация не хранится в правильном формате? Если ты что-то прочитал и понял - у тебя не возникнет больших сложностей хотябы придерживаться правильной терминологии. Вот для тебя нэйминг - пустой звук, паттерны проектирования - тоже. Если ты не можешь ясно изложить свою мысль - значит этой мысли нет.
ArbNet#: А по тебе сразу видно ни буб-бум информация взята из интернета
Я практически никогда не пишу о темах, которые мне далеки - ты мог бы это заметить уже. Даже по форуму - я вообще не захожу в темы, которые вне сферы моих интересов. Да, я постоянно гуглю перед ответом, сверяюсь с ИИ. Но это для того, чтобы изложить свою мысль понятнее и точнее. Могу забыть какое то слово, термин. Что толку выкладывать кашу из головы. А так я даю тебе понятный и структурированный ответ, более того - сам перезапоминаю информацию эту. Но я не стану писать про то, что для меня темный лес. Я начал излагать факты по строению нейросетей только после того как полез, вспомнил элементраную математику, что в них используется и как. Чтобы не выдать такие перлы как ты про матрицы. Мне было бы стыдно такое писать.
ArbNet#: Плюс у тебя отсутствует соображение, это не оскорбление, лично мне это сразу бросается в глаза, поэтому я об этом и говорю
Ну, аргументируй на примерах, я не против увидеть свои пробелы.
ArbNet#: Мне достаточно посмотреть на продукт как он работает, даже не смотря на код, я могу сразу выявлять ,что в нём плохо
Почему же ты не смог этого сделать на примере моего сервиса, я дал тебе ссылку. Давай, как программист - оцени что именно плохо там, не общими словами.
ArbNet#: Всё придумали до нас, всё сделали до нас, всё супер, делай как пишут в книжках, интернете..
Что бы делать лучше - нужно сначала узнать как уже сделано. Очень рекомендую
ArbNet#: Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.
Для того, чтобы это продумывать - нужно иметь знания, а ты банально не понимаешь матричные операции. Оперируй реальными понятиями в беседе а не тем, что у тебя в голове. Твоя большая проблема - отсутствие базы, причем полное. Обрывки знаний из середины и абсолютное неумение их систематизировать. хочешь инсайд? Знаешь как я легко понимаю когда ты врешь? Ты начинаешь сначала оперировать абстрактными понятиями, типа вот - "в моей голове" а еще вместо ответов начинаешь писать - "тебе не понять", ну и классический переход на личности. Затем когда я тебя все таки раздергиваю, не отстаю, ты начинаешь гуглить, но так как систематизировать знания ты не умеешь - очень редко попадаешь в правильные ответ. А я специально сначала стараюсь не давать ключевые слова. И только потом, когда я начинаю приводить примеры, как мамба, типы алгоритмов - твои ответы превращаются во что-то связное. Но они все равно обрывочны- матрицы, массивы - ты путаешь базовые термины. Если бы ты давно занимался этой темы - ты бы оперировал понятными, общепринятыми. Так что чисто дружеский совет тебе - меняй стиль общения - и тебе и нам будет интереснее и толку больше. Неохота тратить время на препирания в технической теме.
Жертва маркетинга тут одна и это ты. Не знаю какими лучами тебя облучают что генерируешь такой бред. Ты в точности как та ЛЛМ которую я счас пишу в споре с арбнетом - выдает бессвязную чушь. Ну так она и только создается - как младененц. А ты же вроде мужичок в возрасте... Ты когда научишься читать то, что пишут, прежде чем отвечать, вот просто интересно?
alaev#: Арабы не являются неграми. Арабы - семиты.
Как происхождение относится к тому что мы обсуждаем? оставь эти своим минутки бесполезных фактов! А реальный факт - то что кожа с темным пигментом- меланином поглощает и рассеивает солнечный свет. А моя белая ультрафиолет пропускает. И крем помогает защите. Как - неважно, главное что работает. То что ты утверждаешь - точно так же как говорить что панамка на голове не защитит от солнечного света. Учи темы, прежде чем спорить!
ArbNet#: Мамба сжимает содержание\контент вот и всё,
нет - никакого отношения к сжатию она не имеет.
ArbNet#: но сами алгоритмы вычисления весов так и остались, а именно это и затратно.
то есть у тебя есть другой алгоритм?
И мамба решает проблему attention а не весов. на сегодня есть несколько альтернатив но ни одна не реализована по многим причинам. Назови хоть одну - которую ты готов решить?
Итак, итоги моего дня. В результате работы со своей моделью пришел к выводу что крайне сложно обучить нормальную модель на маленьком датасете. Менял токенизацию, параметры - не работает. Итого варианты 1. Собрать больше данных - нужно от 30 мегабайт данных для обучения 2. Использовать готовую модель от оллама и дообучить - это размер и время
3. Плюнуть и стрпться на RAG Если нужны подробности - спрашивайте
Если ты считаешь, что твоя кожа чем-то отличается от кожи араба, то ты не прав.
конечно отличается - в наличии защитного пигментаЮ Про загар слыхал? Почему в Африке у аборигенов темная кожа - знаешь? Неужели вообще у тебя так все плохо со занниями? в это дело на не в
alaev#: Дело в другом - отсутствии критического мышления.
😂 ну что за день сегодня... то математике меня учит двоецник, ткпкрь откровения про кожу.... А я понял - ты из поляков записал меня в афробелоруса)))
Ты же писал что люил математику в техникуме? К доске идет... Арбнет! Вопрос - какие операции с массивам вы знаете? что такое массив и что такое матрица? 😂 Садись, два!
ArbNet#: Про Mamba я знаю давно, и там суть другая, не ускорение вычислений, а сжатое запоминание содержания.
Ты про мамба узнал полчаса назад когда я написал. Но как обычно недогуглил. трансформер = огромная композиция матричных умножений + нелинейностей. поэтому и спрос такой стал на GPU, что матричные вычисления отлично параллелятся - то в чем силен видеопроц. почитай что такое attention, двоечник. которве лежат в основе трансформера. И какой у них недостаток А потом почему мамба их решает. А потом какой у нее недостаток. Точнее у алгоритма, который онжит в основе. Даже не напишу название - сам ищи. Вот когда ответишь на все эти вопросы - приходи спорить и упрекать.
ArbNet#: Короче, занимайся своим делом, а я буду своим заниматься.
Да, вот именно - я занимаюсь делом, а ты фигней страдаешь
ArbNet#: И при этом у тебя даже мысли не возникает что можно же как то сделать по другому, что матричные вычисления в дробных числах это очень затратно и тд. Соображение напрочь отсутствует, чего такому объяснить то можно. Извини, но это бестолковые занятие, я не смогу объяснить то что просто очевидно, то до чего сам можешь одуматься. Но этого не происходит и объяснения тут никакие не помогут.
Не выпендривайся. А прочитай что я уже писал раньше. С 23 года работают над новым( условно) алгоритмом Mamba(SSM) которому прочат замену обычному трансформеру. Знаешь отличия? Не знаешь, вот и не трынди. А я знаю. И еще знаю, что это работа для команд, исследователей с математическим образованием, с профессорскими степенями, а не кладовщику из техникума и даже не обладателю диплома БГУИР.
Ты уже работаешь в ОпенАИ
Да, есть одиночки-гении, которые работают над этимю Ты - не из их числа. Ты за год даже не научился правильно формулировать проблему. Только после того как я сто раз написал про матричные вычисления ты стал писать про них. Но я в тупик могу загнать парой вопросов, на спор.
Ты вот даже не удосужился узнать различия, я прожед чем спорить - хотя бы погуглил нормально.
Перестань страдать фигней, давай обсуждать реальные вещи а не добывать в очрередной раз кремний из песка чтобы сложить 2+2
Вот кстати, Арбнет - тебе задачка на знание ИИ, раз уж ты изучил все про нейросети. Решается она в голове, кстати - ничего сложного
Вот параметры результативной модели при обучении на 37Кб данных с 4-ми слоями и 4-мя головам, тиктокеном на 100000 слов - 330мегабайт. По размерам - норма.
Насколько размер модели будет расти если я увеличу датасет, допустим до 15 Мб? Нужно знать, когда модель превысит 4Гига и потеряется смысл в тренинге, ведь тогда лучше взять готовую SLM
не нужно точных цифр - примерная апроксимация
Только у меня есть знания, пусть я не оперирую общепринятыми терминами, потому как беру информацию из памяти, когда где то читал, тестил и тд. и пытаюсь сказать именно своими словами, как могу.
А по тебе сразу видно ни буб-бум информация взята из интернета
Я практически никогда не пишу о темах, которые мне далеки - ты мог бы это заметить уже. Даже по форуму - я вообще не захожу в темы, которые вне сферы моих интересов. Да, я постоянно гуглю перед ответом, сверяюсь с ИИ. Но это для того, чтобы изложить свою мысль понятнее и точнее. Могу забыть какое то слово, термин. Что толку выкладывать кашу из головы. А так я даю тебе понятный и структурированный ответ, более того - сам перезапоминаю информацию эту. Но я не стану писать про то, что для меня темный лес. Я начал излагать факты по строению нейросетей только после того как полез, вспомнил элементраную математику, что в них используется и как. Чтобы не выдать такие перлы как ты про матрицы. Мне было бы стыдно такое писать.
Плюс у тебя отсутствует соображение, это не оскорбление, лично мне это сразу бросается в глаза, поэтому я об этом и говорю
Ну, аргументируй на примерах, я не против увидеть свои пробелы.
Мне достаточно посмотреть на продукт как он работает, даже не смотря на код, я могу сразу выявлять ,что в нём плохо
Почему же ты не смог этого сделать на примере моего сервиса, я дал тебе ссылку. Давай, как программист - оцени что именно плохо там, не общими словами.
Всё придумали до нас, всё сделали до нас, всё супер, делай как пишут в книжках, интернете..
Что бы делать лучше - нужно сначала узнать как уже сделано. Очень рекомендую
Готов, не готов, но я продумываю как ускорить вычисления, есть варианты, но пока у меня в голове, ещё не тестировал.
хочешь инсайд? Знаешь как я легко понимаю когда ты врешь? Ты начинаешь сначала оперировать абстрактными понятиями, типа вот - "в моей голове" а еще вместо ответов начинаешь писать - "тебе не понять", ну и классический переход на личности. Затем когда я тебя все таки раздергиваю, не отстаю, ты начинаешь гуглить, но так как систематизировать знания ты не умеешь - очень редко попадаешь в правильные ответ. А я специально сначала стараюсь не давать ключевые слова. И только потом, когда я начинаю приводить примеры, как мамба, типы алгоритмов - твои ответы превращаются во что-то связное. Но они все равно обрывочны- матрицы, массивы - ты путаешь базовые термины. Если бы ты давно занимался этой темы - ты бы оперировал понятными, общепринятыми.
Так что чисто дружеский совет тебе - меняй стиль общения - и тебе и нам будет интереснее и толку больше. Неохота тратить время на препирания в технической теме.
стали жертвами маркетинга.
Ты когда научишься читать то, что пишут, прежде чем отвечать, вот просто интересно?
Арабы не являются неграми. Арабы - семиты.
Мамба сжимает содержание\контент вот и всё,
но сами алгоритмы вычисления весов так и остались, а именно это и затратно.
то есть у тебя есть другой алгоритм?
И мамба решает проблему attention а не весов.
на сегодня есть несколько альтернатив но ни одна не реализована по многим причинам.
Назови хоть одну - которую ты готов решить?
Итак, итоги моего дня. В результате работы со своей моделью пришел к выводу что крайне сложно обучить нормальную модель на маленьком датасете. Менял токенизацию, параметры - не работает. Итого варианты
1. Собрать больше данных - нужно от 30 мегабайт данных для обучения
2. Использовать готовую модель от оллама и дообучить - это размер и время
3. Плюнуть и стрпться на RAG
Если нужны подробности - спрашивайте
Местное население такой фигней не страдает.
Если ты считаешь, что твоя кожа чем-то отличается от кожи араба, то ты не прав.
Дело в другом - отсутствии критического мышления.
но там нет никаких матричных вычислений на самом деле.
Там есть массивы,
Про Mamba я знаю давно, и там суть другая, не ускорение вычислений, а сжатое запоминание содержания.
почитай что такое attention, двоечник. которве лежат в основе трансформера.
И какой у них недостаток
А потом почему мамба их решает. А потом какой у нее недостаток. Точнее у алгоритма, который онжит в основе. Даже не напишу название - сам ищи.
Вот когда ответишь на все эти вопросы - приходи спорить и упрекать.
Короче, занимайся своим делом, а я буду своим заниматься.
И при этом у тебя даже мысли не возникает что можно же как то сделать по другому, что матричные вычисления в дробных числах это очень затратно и тд. Соображение напрочь отсутствует, чего такому объяснить то можно. Извини, но это бестолковые занятие, я не смогу объяснить то что просто очевидно, то до чего сам можешь одуматься. Но этого не происходит и объяснения тут никакие не помогут.
Не выпендривайся. А прочитай что я уже писал раньше. С 23 года работают над новым( условно) алгоритмом Mamba(SSM) которому прочат замену обычному трансформеру. Знаешь отличия? Не знаешь, вот и не трынди. А я знаю.
И еще знаю, что это работа для команд, исследователей с математическим образованием, с профессорскими степенями, а не кладовщику из техникума и даже не обладателю диплома БГУИР.
Ты уже работаешь в ОпенАИ
Да, есть одиночки-гении, которые работают над этимю Ты - не из их числа. Ты за год даже не научился правильно формулировать проблему. Только после того как я сто раз написал про матричные вычисления ты стал писать про них. Но я в тупик могу загнать парой вопросов, на спор.
Ты вот даже не удосужился узнать различия, я прожед чем спорить - хотя бы погуглил нормально.
Перестань страдать фигней, давай обсуждать реальные вещи а не добывать в очрередной раз кремний из песка чтобы сложить 2+2
«Марш энтузиастов» из
кинофильма «Светлый путь».