Sly32

Задумал внести Несколько изменений в сервис, в итоге добавились 8 пунктов. Серьезные изменения, какие-то связаны с ИИ, какие то просто дополнительный функционал для репетиторов. В итоге написал задание на 1199 строк, с детальным описанием каждого пункта, ограничения, инструменты....
Изначально думал запускать поэтапно, но сейчас есть желание рискнуть - включить режим автопилота и отправить на выполнение весь комплекс. Что думаете - прокатит? Порядка 10 новых таблиц, роутеры, менеджеры, фронтенд.. 
руки чешутся проверить автономию. Особо ничем не рискую кроме токенов и потерянного времени - всегда можно откатить версию. Такого рода задачи еще не запускал. 

Нашел чем напугать картошко-бизнесмена)))

А мне вот нравится итальянское мороженое - оно не такое жирное как наше и освежает хорошо. Но именно настоящее, не  набор химикатов-красителей со льдом.

😂 Ваш совет очень ценный для нас. "Я тебя услышал"(с) Первая ракетка (посмотри эпизод 5 чтобы понять)

Но, давай поговорим аргументированно.
Зачем мне локальный LLM? Главная цель - удешевление. Ты конечно же до сих пор не посмотрел мой проект, поэтому вкратце. Есть ИИ урок, который ведет ИИ учитель. Сам урок сгенерирован на мощных моделях, учитывает нюансы темы,  содержит квизы и дополнительную информацию. Он очень круто работает на Клод и ОпенАИ, неплохо на Дипсик, но в любом случае это токены, за которые надо платить. Я хочу сделать пробные уроки, бесплатные для пользователя. Вот тут и вступает в дело локальный ЛЛМ.  По большому счету мне не нужна мощная модель, потому что нужные данные по уроку уже есть, база знаний лежит в РАГ. Мне достаточно простого трансформера, который в приницпе работает как оркестратор. Причем это сейчас в бета-тестировании такие ограничения, чтобы не платить много. У меня и так на сервер уходит уже более 50 баксов в месяц. Плюс оплата токенов, но пока что там копейки.

Теперь поговорим про 

Давай аргументированно в этот раз. Чем это лучше? что это тебе даст? Какие недостатки в тех, что существуют ты увидел и знаешь что улучшить? Я вот не копал так далеко - я даже не знаю как это устроено. Знаю что llama.cpp написана на плюсах человеком, который перед этим написал whisper.cpp - крутую штуку для распознавания голоса, суперски работает локально, я на ее основе написал interview-cheater - локальную приблуду, которая работает в фоне во время интервью, слущает вопросы и выдает ответы) Она тоже была на локальных моделях в llama.cpp

Оллама написана на Go, поддерживается группой разрабов сейчас, изначально стартовала с бюджетом в $125 тыс.
Ты реально считаешь что сделаешь что-то лучше? Без обид.

Но! Это очень хорошая практика - тут не спорю. Только прежде чем писать самому - нужно досконально разобраться в том что есть. Так что мой совет - сначала расковыряй существующие.
Например - как ты будешь работать с CPU/GPU? Оллама, например умеет работать с любыми видами графических чипов, если включить  поддержку СUDA -  она на моем маке в три раза быстрее работает на М4. Специально смотрел разницу. Запущенная в докере  и локально.
Ты хорошо понимаешь разницу между  GGML и GGUF? Для Apple Silicon инференс ускоряется через MLX - напишеь под него ускоритель сам?

Поэтому мне кажется интереснее решать задачи попроще, но где будет виден результат.
Сразу говорю - не указываю тебе, это просто мое мнение

Это то, что посоветовал мне ИИ исходя из текущей конфигрурации и быстродействия. И заточенные под Олламу. Но буду рад предложениям. Рассматриваю модели до 4Гигов размером и скорость генерации должна быть от 20 токенов в секунду Если знаешь лучшие модели, доступные в Оллама - предлагай.
Моделька крутится в контейнере с 4 гигами оперативы, максимум 5 и 2-4CPU(core)

Встретил тут слезы, что мол  нет денег чтоб зайти и протестировать мой сервис. Это при том что каждый зареганный получает бонус, достаточный чтобы поиграться с хорошими моделями, которые напрямую из РФ недоступны.
Решил пойти навстречу, тряхнуть стариной и запилитьс свой сервис с моедлями, которце будут крутиться прямо в облаке моем и будут практически даром. В итоге добавил контецнер с ollama,  он полностью независим, никуда не ходит, работает для посетителей. Вопрос - какие модели до 4Гигов лучше всего работают? 
чтоб не получать примерно такой урок 😂

рассматриваю такие

Что еще посоветуете?

Все-таки пока что Github Copilot остается в моих фаворитах. Оценил возможности handoff  агентов. Увепен что все о гих знают поэтому кратко - ёто дополнительный агент с узкикми скилами, который активируется под определенные задачи. То есть не нужно писать огромный базовый промпт с перечислением всего что только вспомнишь
Просто в главного агента добавляешь меткуА у же в профильном агенте расписываешь все, что от него требуется.
Чем это отличается от skills? Обязательностью выполнения. Скилы агент может и проигнорить. Субагента - почти никогда.
При этом промпт и короче и хорошо кэшируется.

Проверил сегодня на кейсе с дебагом сервера - реально работает. Он теперь понимает куда деплой и не лезет править все подряд. У меня разнесены скрипты под гугл и амазон и он теперь хорошо понимает, что я от него хочу. Раньше он мог нацти аналогию в амазоне и уверенно его поломать. Теперь же четко забирает нужное.

В общем, мне понравилось.  Надо доделать такое для клода. у него тоже есть субагенты но вроде как правила пишутся немного не так.

Круто 👍 Интересно было узнать, спасибо

Понятно, спасибо. Неужели на этом можно заработать в наше время? Это чисто так, мое удивление, но я сильно в другой нише

Так об этом уже давно идет речь. Но вот не уверен что этим гугл не выстрелит себе в ногу в итоге...

Это примерная схема, как работает

Можно взять и стандарт - MCP,  но наверное это избыточно. Достаточно написать свои инструменты, просто грамотно дать им премишены, что агент твой не снес весь репо и не сказал "Извините" 😂 На Пайтон это довольно просто реализуется, но не думаю что на Раст сильно сложнее будет. 
Я когда-то баловался таким, даже где-то валяется готовый код агента, если нужно- могу показать. Но он сильно уступает по качеству хорошим моделям, чисто для изучения и понимания как это все работает писал...