Sly32#: Ключевой шаг DeepSeek — принудить эти связи жить на заданном математическом многообразии.
Это не поможет ИМХО, есть пределы вычислительных мощностей и за них никак не перескочить.
Ты спрашивал в чём существующие модели меня не устраивают. Я уже ответил, тем что они требовательны к вычислительным мощностям. Если ты не в курсе, то существующим LLM нужно просчитывать все эмбендинги всего словаря, а это несколько сот тысяч для каждого следующего слова в ответе, то есть миллиарды операций вычислений. Да есть алгоритмы уменьшающие, но всё равно головному движку приходится перепроверять и если отклоняет вероятность, то запускать дочернюю нейросеть для поиска новой вероятности и тд.
ЗЫ. Короче проблема ИИ сейчас это очень много вычислений, то есть требовательные к вычислительным мощностям и распределить это на несколько машин тоже проблемно. Упс. Ждём квантовые компьютеры.
Sly32#: Я так понял ты соскочил уже со второго челленджа 😂
Мне твой челендж не интересен просто. Логирование да ещё и с ИИ, лично мне без надобности, ты по ходу часть своей работы хочешь переложить на других. Короче занимайся, занимайся..
ЗЫ. Лично я делаю мини-LLM для персональных ПК, которую можно заточить под ускую специфику. Онлайн сервисы это хорошо, но многие задачи можно решать и локально без надобности использования сторонних API. Таких сейчас движков для ИИ нет, Ollama не в счёт(поюзал.. и опять убедился, что надо делать своё), не подходит для тех задачи какие я хочу делать.
Александр Воробьев#: Я решил написать свой ML движок. Получилось как нефиг делать. Не имеет ни каких проблем с памятью и быстродействием (потенциально будет работать с огромной скоростью даже на 386 архитектуре). Доделать осталось самую малость. Ну и естественно на Rust
🫣
ЗЫ. Такое в чате ИИ генерируется за несколько секунд, ты так по ходу и сделал, подчерк ИИ сразу видно. Я тоже таких кучу уже наделал, вот только это не ИИ движок, а примитивный пример для понимания основ.
Sly32#: Что не так, раз тебя не устраивает этот фреймворк? Вот прям на пальцах - где есть место, которое ты можешь улучшить?
Во-первых он написан на C++ да это скорость, но она сопряжена с риском сбоев, утечек памяти и тд. и тп. хотя у него есть возможность использовать графический процессор, если его использовать по скорости он примерно будет почти как Rust, но требователен к памяти. Во-вторых, пайтон это накладные расходы для скорости, преобразование типов переменных и прочее, замедление не хилое, для полезной работы остаются 10-20% времени. В-третьих, даже если его использовать через обёртку tch-rs в самом Rust, то первый пункт останется(риски утечек памяти, хотя в современных версиях это поубавилось, а мы помним как раньше чаты висли, но всё равно C++ остаётся не безопасным). Ну и тяжелый он, 2-3 гига вроде если с CUDA.
ЗЫ. Но для тебя это всё равно пустой звук, тебе главное пару строк на пайтон написал и всё в ажуре..
Sly32#: Ты что такое Sagemaker и для чего он - знаешь? С Pytorch хотя бы работал?
Естественно 😀 ты в своём репертуаре, гуглить тебя хлебом не корми 😁
ЗЫ. Мне не интересно использовать уже готовые инструменты, я в них всегда вижу кучу недостатков. Знаю про разные фреймворки для ИИ, когда ищу примеры реализации или у того же ИИ спрашиваю как что работает, а можно ли сделать по другому и тд. попадаются примеры с использованием готовых фреймворков. Но они мне не подходят. Опять же если я буду делать так же как у других, то какой смысл вообще это делать, получится тоже самое и я потрачу на это уйму времени. У меня задача иная, придумать лучшие подходы и сделать лучше чем у других. До тебя это никак почему-то не доходит, хотя я об этом уже говорю тебе несколько лет.
Sly32#: Ты хоть понимаешь, что здесь не все иканамисты? И многие немного понимают, что это такое - создать свою модель и сколько стоить будет?
А ты даже пошевелить своим серым веществом уже не в состоянии. Существующие модели делаются с триллионами параметров и обучаются на многих языках с кучей не нужной по сути информацией, поэтому и весят не мало, поэтому и ресурсов жрут не хило и тд. Но можно же создать движок заточенный под меньшее количество параметров, с одним языком, под определённые задачи и тогда весить они будут намного меньше, и работать быстрее, и тд.
Sly32#: Алексей - если мы пытаемся нормально общаться - могу тебе дать теже права, если зарегаешься. Тогда и сможешь критиковать по делу.
Мне не интересны сервисы которые используют сторонние API в принципе. Я уже говорил, раз напоролся на эти грабли и повторять те же ошибки не хочу, а вы занимайтесь, занимайтесь..
ЗЫ. Онлайн модели конечно мощнее и их настроить через API намного проще. Локальные слабые, устаревшие уже, доступ к диску проблемно настроить. Я как то потыркался и плюнул, опять же напрашивается мысль, свой ИИ движок сделать с своими моделями. Это намного интереснее да и перспективнее. А вот если зависите от сторонних API, то рано или поздно лавочка прикроется и все ваши сервисы накроются медным тазом..
Ключевой шаг DeepSeek — принудить эти связи жить на заданном математическом многообразии.
Это не поможет ИМХО, есть пределы вычислительных мощностей и за них никак не перескочить.
Ты спрашивал в чём существующие модели меня не устраивают. Я уже ответил, тем что они требовательны к вычислительным мощностям. Если ты не в курсе, то существующим LLM нужно просчитывать все эмбендинги всего словаря, а это несколько сот тысяч для каждого следующего слова в ответе, то есть миллиарды операций вычислений. Да есть алгоритмы уменьшающие, но всё равно головному движку приходится перепроверять и если отклоняет вероятность, то запускать дочернюю нейросеть для поиска новой вероятности и тд.
ЗЫ. Короче проблема ИИ сейчас это очень много вычислений, то есть требовательные к вычислительным мощностям и распределить это на несколько машин тоже проблемно. Упс. Ждём квантовые компьютеры.
Я так понял ты соскочил уже со второго челленджа 😂
Мне твой челендж не интересен просто. Логирование да ещё и с ИИ, лично мне без надобности, ты по ходу часть своей работы хочешь переложить на других. Короче занимайся, занимайся..
ЗЫ. Лично я делаю мини-LLM для персональных ПК, которую можно заточить под ускую специфику. Онлайн сервисы это хорошо, но многие задачи можно решать и локально без надобности использования сторонних API. Таких сейчас движков для ИИ нет, Ollama не в счёт(поюзал.. и опять убедился, что надо делать своё), не подходит для тех задачи какие я хочу делать.
Вроде починил. Пример того, когда не контрлишь, что там воротит ии. Пходу надо писать еще и отдельный скил для фронта
Вот проблема-то.. оказывается истина остаётся верной и при использовании ИИ. Хочешь сделать хорошо, делай сам!
ЗЫ. Только глупцы могут надеятся, что генерация по теории вероятности будет делать всё идеально 🤭
Я решил написать свой ML движок. Получилось как нефиг делать. Не имеет ни каких проблем с памятью и быстродействием (потенциально будет работать с огромной скоростью даже на 386 архитектуре). Доделать осталось самую малость. Ну и естественно на Rust
🫣
ЗЫ. Такое в чате ИИ генерируется за несколько секунд, ты так по ходу и сделал, подчерк ИИ сразу видно. Я тоже таких кучу уже наделал, вот только это не ИИ движок, а примитивный пример для понимания основ.
Что не так, раз тебя не устраивает этот фреймворк? Вот прям на пальцах - где есть место, которое ты можешь улучшить?
Во-первых он написан на C++ да это скорость, но она сопряжена с риском сбоев, утечек памяти и тд. и тп. хотя у него есть возможность использовать графический процессор, если его использовать по скорости он примерно будет почти как Rust, но требователен к памяти. Во-вторых, пайтон это накладные расходы для скорости, преобразование типов переменных и прочее, замедление не хилое, для полезной работы остаются 10-20% времени. В-третьих, даже если его использовать через обёртку tch-rs в самом Rust, то первый пункт останется(риски утечек памяти, хотя в современных версиях это поубавилось, а мы помним как раньше чаты висли, но всё равно C++ остаётся не безопасным). Ну и тяжелый он, 2-3 гига вроде если с CUDA.
ЗЫ. Но для тебя это всё равно пустой звук, тебе главное пару строк на пайтон написал и всё в ажуре..
Ты что такое Sagemaker и для чего он - знаешь? С Pytorch хотя бы работал?
Естественно 😀 ты в своём репертуаре, гуглить тебя хлебом не корми 😁
ЗЫ. Мне не интересно использовать уже готовые инструменты, я в них всегда вижу кучу недостатков. Знаю про разные фреймворки для ИИ, когда ищу примеры реализации или у того же ИИ спрашиваю как что работает, а можно ли сделать по другому и тд. попадаются примеры с использованием готовых фреймворков. Но они мне не подходят. Опять же если я буду делать так же как у других, то какой смысл вообще это делать, получится тоже самое и я потрачу на это уйму времени. У меня задача иная, придумать лучшие подходы и сделать лучше чем у других. До тебя это никак почему-то не доходит, хотя я об этом уже говорю тебе несколько лет.
Но имеено это и называется - детское баловство.
Ты хоть понимаешь, что здесь не все иканамисты? И многие немного понимают, что это такое - создать свою модель и сколько стоить будет?
Не смотрели в сторону HMVC?
Эх как мне это нравится 😁 да, давайте поучайте их..
ЗЫ. Пусть пройдут через что я проходил с ними.. 😎
Алексей - если мы пытаемся нормально общаться - могу тебе дать теже права, если зарегаешься. Тогда и сможешь критиковать по делу.
Мне не интересны сервисы которые используют сторонние API в принципе. Я уже говорил, раз напоролся на эти грабли и повторять те же ошибки не хочу, а вы занимайтесь, занимайтесь..
ЗЫ. Онлайн модели конечно мощнее и их настроить через API намного проще. Локальные слабые, устаревшие уже, доступ к диску проблемно настроить. Я как то потыркался и плюнул, опять же напрашивается мысль, свой ИИ движок сделать с своими моделями. Это намного интереснее да и перспективнее. А вот если зависите от сторонних API, то рано или поздно лавочка прикроется и все ваши сервисы накроются медным тазом..