Конечно связано, все ведь дело в канистрах, а не в дефиците бензина, если бы везде разрешили наливать в любые ёмкости, продажи новых автомобилей выросли бы на 146%.
Точно! Именно это я имел ввиду! Спасибо за уточнение. Меньше канистр - меньше авто. Ясно-понятно
Дело вообще не в методе кодирования, а в скорости генерации, обучаемости на не больших данных и осознанности. Что трансформер, что мамба и далее по списку всем нужно очень много данных для обучения чтобы генерация ответов была осознанной такой же как если бы отвечал человек, а не набор слов или букв. Я пишу мини-lm чтобы можно было запустить на любом компе, обучить нужным данным и получать хорошие результаты с быстрыми ответами. С теми алгоритмами на каких работают существующие нейросети то, что я хочу просто не реализовать(хотя кому я объясняю, всё равно не поймёшь).
ЗЫ. Что трансформер, что мамба, на каждой итерации просчитываются вероятности всех токенов, у мамба есть скрытое состояние от которого делаются расчёты(балбесы вроде тебя думают, что это ускорение, но на самом деле это не ускорение по большому счёту). Я делаю кодирование слов в числа чтобы не просчитывать тысячи токенов каждый раз, а чтобы по кодам слов находились паттерны и генерировались нужные слова. Не понимаешь же наверное всё равно ничего..
Как ты будешь строить паттерн? В твоем кодировании нет никаких связей между кодами слов
Slav_on#: Разумеется нет! Некоторые особо жадные сети льют в канистру если она куплена у них на заправке. Объясняют вполне логично «Малоли где Вы там свою канистру возили и покупали! У нас гарантированно безопасная тара.» просто раньше, не знаю правда или нет, но при покупке 5-10 литров топлива в канистру потребитель узнавал что колонка отпустила ему 4-8,5 литров, а на утро в канистре был осадок из воды, грязи, и почего.
Спасибо, что обьяснили. Значит все в порядке. А то тут злопыхатели пишут что продажи новых автомбилей в июне упали на 16% легковые и на 10% коммерческие. Причем в самый сезон продаж. Уверен что это никак не связано. Продолжайте наблюдение.
Я изучил как работают алгоритмы нейросетей. В них слова разбиваются на токены от 2 до нескольких символов в зависимости от частоты наличия в словах. Таких токенов около 50000. Для обучения такой сети нужно очень и очень много данных и времени на обучение и тд. Подход для llm не плохой но слишком затратный и очень много лишней работы при генерации ответа, то есть надо просчитывать все 50000 на каждой итерации..
Я тестил другой подход. Эти функции это прототипы, 64 это токенов русских букв строчных и заглавных без и́ё. Я кодирую слово в числа, а не разбиваю на части токенов по несколько букв. Подход удачный получился. Потом я стал думать как сделать больше токенов для символов и переделал функции кодировки. Понял, что эти прототипы корявые с неправильной формулой. И это на самом деле не единственный случай. У меня так с ИИ постоянно, всё переписываю по своему.
ЗЫ. Да, ИИшный код можно использовать, но по хорошему если подумать, то лучше не надо, лучше свой написать.
Хочешь, я тебе обьясню буквально в 3-х абзацах, почему это не сработает? Пошли в челлендж тему - тут это лишнее. Помнишь, я тее про мамбу писал. И если бы ты изучил реально то знал бы, что сейчас воспроизводишь метод кодирования, который давно уже разрабатывался и прищнан неэффективным для трансформера.
ArbNet#: Да в коде есть ограничение на 10 символов и он рабочий,
ArbNet#: Да, сначала сама пишет с ошибками, потом находит и исправляет
Тебе сделали то, что ты попросил - это раз. То есть это не ошибка нейросети а твоя как постановщика задачи. И два - повторюсь - не используй дешевые поделки китайские а также алису на их базе - они отстают на 2-3 года от нормальных моделей. Лично у меня Sonnet 5 сразу нашел ошибки в твоем коде и они посерьезнее переполнения.
Нейросеть за тебя не думает - она следует твоим указаниям. Если ты не понимаешь что делаешь - то и результат такой же. И я не понимаю зачем что-то писать уровня задач для обучающихся на LeetCode - это не идея никакая
ArbNet#: На каждой итерации результат умножается на основание!!
Еще раз - начни с математики!
Даже на последней, 10-й итерации, перед самим умножением result не превышает 64⁹ − 1 ≈ 1.8 × 10¹⁶ — это на три порядка меньше u64::MAX . Умножение result * 64 в худшем случае даёт ≈ 1.15 × 10¹⁸ , что всё ещё почти в 16 раз меньше предела u64
ArbNet#: Для того кто не соображает, это идеальный код и он его будет применять..
Ты это в алисе что ди писал? Это код в принципе с ошибками. переполнение как раз не проблема. при max_len = 10 , основание 64 переполнения быть не может.
Максимально возможное значение result после 10 итераций — это 64^10 - 1 :
2^60 почти в 16 раз меньше u64::MAX . То есть даже если на каждом шаге брать максимальный код (63) и пройти все 10 символов, итоговое число уместится в u64 с большим запасом.
romancher#: Ну это последнюю неделю, и то небольшие очереди по 2-3 машины на колонку еще осталось, до этого большинство заправок было с очередями, ну и некоторые пустые были (особенно татнефть). Сегодня канистры 95 заправлял по 125, так и не снижают цены на ноунейм заправках, даже с учетом того что на остальных очередей почти нет.
Конечно связано, все ведь дело в канистрах, а не в дефиците бензина, если бы везде разрешили наливать в любые ёмкости, продажи новых автомобилей выросли бы на 146%.
Точно! Именно это я имел ввиду! Спасибо за уточнение. Меньше канистр - меньше авто. Ясно-понятно
Не смеши, с этой мамбой 😁
Дело вообще не в методе кодирования, а в скорости генерации, обучаемости на не больших данных и осознанности. Что трансформер, что мамба и далее по списку всем нужно очень много данных для обучения чтобы генерация ответов была осознанной такой же как если бы отвечал человек, а не набор слов или букв. Я пишу мини-lm чтобы можно было запустить на любом компе, обучить нужным данным и получать хорошие результаты с быстрыми ответами. С теми алгоритмами на каких работают существующие нейросети то, что я хочу просто не реализовать(хотя кому я объясняю, всё равно не поймёшь).
ЗЫ. Что трансформер, что мамба, на каждой итерации просчитываются вероятности всех токенов, у мамба есть скрытое состояние от которого делаются расчёты(балбесы вроде тебя думают, что это ускорение, но на самом деле это не ускорение по большому счёту). Я делаю кодирование слов в числа чтобы не просчитывать тысячи токенов каждый раз, а чтобы по кодам слов находились паттерны и генерировались нужные слова. Не понимаешь же наверное всё равно ничего..
Как ты будешь строить паттерн? В твоем кодировании нет никаких связей между кодами слов
Разумеется нет! Некоторые особо жадные сети льют в канистру если она куплена у них на заправке. Объясняют вполне логично «Малоли где Вы там свою канистру возили и покупали! У нас гарантированно безопасная тара.» просто раньше, не знаю правда или нет, но при покупке 5-10 литров топлива в канистру потребитель узнавал что колонка отпустила ему 4-8,5 литров, а на утро в канистре был осадок из воды, грязи, и почего.
Я изучил как работают алгоритмы нейросетей. В них слова разбиваются на токены от 2 до нескольких символов в зависимости от частоты наличия в словах. Таких токенов около 50000. Для обучения такой сети нужно очень и очень много данных и времени на обучение и тд. Подход для llm не плохой но слишком затратный и очень много лишней работы при генерации ответа, то есть надо просчитывать все 50000 на каждой итерации..
Я тестил другой подход. Эти функции это прототипы, 64 это токенов русских букв строчных и заглавных без и́ё. Я кодирую слово в числа, а не разбиваю на части токенов по несколько букв. Подход удачный получился. Потом я стал думать как сделать больше токенов для символов и переделал функции кодировки. Понял, что эти прототипы корявые с неправильной формулой. И это на самом деле не единственный случай. У меня так с ИИ постоянно, всё переписываю по своему.
ЗЫ. Да, ИИшный код можно использовать, но по хорошему если подумать, то лучше не надо, лучше свой написать.
Да в коде есть ограничение на 10 символов и он рабочий,
Да, сначала сама пишет с ошибками, потом находит и исправляет
Тебе сделали то, что ты попросил - это раз. То есть это не ошибка нейросети а твоя как постановщика задачи. И два - повторюсь - не используй дешевые поделки китайские а также алису на их базе - они отстают на 2-3 года от нормальных моделей. Лично у меня Sonnet 5 сразу нашел ошибки в твоем коде и они посерьезнее переполнения.
Нейросеть за тебя не думает - она следует твоим указаниям. Если ты не понимаешь что делаешь - то и результат такой же. И я не понимаю зачем что-то писать уровня задач для обучающихся на LeetCode - это не идея никакая
На каждой итерации результат умножается на основание!!
Для того кто не соображает, это идеальный код и он его будет применять..
при max_len = 10 , основание 64 переполнения быть не может.
Максимально возможное значение result после 10 итераций — это 64^10 - 1 :
2^60 почти в 16 раз меньше u64::MAX . То есть даже если на каждом шаге брать максимальный код (63) и пройти все 10 символов, итоговое число уместится в u64 с большим запасом.
Раньше тоже не наливали в канистры. Это если хотите современный тренд жаловаться на то что не льют в канистры. Были и остаются ограничения:
На на обычных сетевых не льют в канистры, а мне нужно для квадроцикла и газонокосилки
Ну это последнюю неделю, и то небольшие очереди по 2-3 машины на колонку еще осталось, до этого большинство заправок было с очередями, ну и некоторые пустые были (особенно татнефть). Сегодня канистры 95 заправлял по 125, так и не снижают цены на ноунейм заправках, даже с учетом того что на остальных очередей почти нет.
А что заставило заправляться в 2 раза дороже?