Дефицит идей и деградация

Блин, я реально как будто с ребёнком разговариваю который недавно услышал про нейросети.

У нейросети могут быть несколько слоёв, а слой может быть типа RNN, LSTM, Mamba, Transformer и др. все современные нейросети это гибридные нейросети, в них есть разные слои и тд. короче очень сложные системы. Для примера нейросети какого-то типа можно ИИ попросить написать код, но это примитивнейшие примеры работающие в основном с одним-двумя слоями на одном типе. Да можно усложнить задачу и попросить написать гибридную нейросеть, но тут начнутся проблемы, такой код не будет работать, не сможет генерировать осмысленные ответы..

ЗЫ. У меня есть мысли как что сделать, но это пока только мои предположения, чтобы их проверить нужно написать прототипы слоёв для моей нейросети, потестить и только потом я уже могу что-то сказать, а пока я не хочу рассказывать, что и как думаю сделать.

Не совсем так. Дробление уже подчинено алгоритму. Как по твоему будет разбиваться слово "алгоритм"? Как угодно или на логическую единицу - "алго" + "ритм"? что такое  BPE?
какая там лишняя работа? Какая алгоритмическая сложность этой задачи? Я тебе скажу - это линейная операция O(1) - самое дешевое в мире вычислений.

Ну если не придираться - соглашусь. Как можно описать твой. подход? К чему ближе и что он решает?

Молодец, у ИИ спросил как токены получаются. Да, приблизительно так.

Тоже молодец, ИИ тебе лапшу навешает, ты и рад. Нет, не дешёвая это операция, да быстрая, на графическом процессоре это доли секунды, но когда это нужно совершать миллионы раз, то это очень дорогая операция.

ЗЫ. Не зря же вам токены продают.

Именно дешевая в плане выполнения. Ты не ответил на вопрос - в твоей системе что дает разбивка слов таким образом и что является минимальной единицей информации.

И давай счас не выяснять кто круче а обсуждать теорию твою и варианты решения. Мне это интересно.

Я не смогу это тебе объяснить, это как с фреймворком на XML(для меня это очевидно, а для тебя чтобы я не говорил, что это лучше, ты не можешь никак понять).

Если ты имеешь ввиду разбивку слов на части\токены как в LLM, то мог бы спросить у ИИ что это даёт, если в кратце, то такой способ минимизирует словарь и даёт возможность токенизировать слова которые не были в обучении, а так же создавать новые похожие слова которых тоже не было в обучении. Да это не плохой способ, но у него есть минус того, что всё же нужен словарь из ~50000 токенов и пересчёт каждого при добавлении нового токена в ответ.

К сожалению, я не вижу в тебе единомышленника. У тебя примитивные подходы, ты привык делать всё по готовым примерам, уж извини, но у меня сложилось о тебе именно такое мнение.

ЗЫ. У меня другой подход, пока я не хочу о нём рассказывать.

ты мне не обьясняй то чего не знаешь, хотя что нормальный токенайзер включает не 50 а до 126000 токенов. 
Я спрашивал тебя - как ты будешь свою разбивку по словам применять для ЛЛМ. 
Пока что ты написал хеш для каждого символа, не более. Что не применяется в ЛЛМ по причине отсутствия связей между двумя хэшами.

Ну так в таком случе не выпендривайся тут. Это болтовня а не подход. 

Какая разница 50000 или 100000 я тебе просто сам смысл донести хотел, что нужно для всех токенов просчитывать логиты. Да в самых больших LLM 126000 токенов, а может и больше даже, это не имет в принципе значения. Ещё раз говорю для пассажиров бронепоезда, каждый раз надо все векторы весов этих токенов просчитывать чтобы к ответу добавить один из них и так пока не будет сгенерирован весь ответ!!

У меня токенизация не по словам, а по буквам. Слово кодируется в число, если длинное слово в два и более чисел. Это уже отличие одного слова от другого, ну и на обучении на текстах нейросеть уже будет обучатся. Как применять? Очень просто, мне не нужно делать словарь для всех слов как и при токенизации по паре-тройке букв как BPE, при генерации токены также собирать в число и делать обратное декодирование. Ты никогда не писал программы шифровальщики-дешифровальщики что-ли?(риторический)

Вообще всё мимо.. комментировать даже не буду эту чушь

Если честно. Я подумывал тут даже тему создать, предложить совместную разработку, попытаться рассказать, что и как думаю сделать и тд. но с прежним моим опытом подобного понимаю, что вряд ли тут найдутся соображающие ребята. Возьмем тебя, ты сразу полезешь гуглить или у ИИ спрашивать, что и как можно сделать, он тебе наотвечает как у кого-то уже сделано и ты начнёшь распылятся, что всё пропало гипс снимают, клиент уезжает.. вместо того чтобы своей головой подумать и найти решение, не получилось, ещё раз подумать и так пока не начнёт получатся. Вот в этом-то твоя проблема, дожил до седин, а думать-то и не научился.

Снова тема скатилась в обсуждение нейронок, хотя название - Дефицит идей и деградация. Каким боком, неЯсно

Содержание оправдало название )))))