LLM - Использование нейросетей в работе. Кодинг, администрирование, безопасность, хостинг, статистика

Все ок. И даже от LM studio получил список моделей. Но далее надо разбираться - у меня там модели совсем слабые...  Ишью (точнее фичреквст) тебе написал на гитхабе

Да, я думал как упростить выбор моделей - но не автодополнением а просто выбор из списка моделей одной цифрой или вообще листанием по списку и ентер на выбранной модели. Какой у тебя комп? можешь попробовать 

gpt-oss:20b                  13 GB     

qwen3:8b-q8_0               8.9 GB
Если 27в не тянет

уже выключил. Но там старенькая видюха с 12ью гигами, и оперативки 32 (все под виндой), а на котором работаю тут вообще видюха древнючая - я ее покупал БУшную года три назад самую дешманскую из нвидий "лишь бы два моника тянула, один и з которых 21:9". Недавно Debian обновил, а в новом Nvidia уже ее не поддерживает, а на универсальных оно вообще не взлетит.

Надо апгрейдиться, но как представлю какие заморочки это сопровождает (хочу чистую установку сделать, а не переносить , а то у меня еще ошметки моих экспериментов с линукс живут где то в недрах :D)

Решил, чтобы добру не пропадать - научу агента читать письма и делать саммари)))
В итоге он теперь умеет ходить  в почту и делать мне выжимки. Сегодня запушу изменения. Потом научу так же работать с мессенджерами)

Нет ну удобно же!

Следующим шагом нужно научить отвечать его 😀

Что-то я заморочился с этим агентом) сделал удобный выбор моделей, сделал конфиг в одной папке. Теперь просто запускаешь его из проекта и он сам создает всю структуру. Может создать проект, может править код, индексирует проект. Думаю с чем еще научить его работать. Но вообще нужно разделять - или кодер или помощник. Возникла идея прикрутить его на сайт как ассистента

Еще немного и сделаете https://github.com/sigoden/aichat

Но, если есть реальное желание сделать, что-то хорошее, удобное, то лучше всего направить ресурсы в сторону оптимизации расхода. К примеру те же запросы на русском языке в среднем на 25% едят больше токенов чем на английском. Сделать интеграцию с веб чатом для структурирвоания промптов,  т.к. модели лучше понимают цифры, а люди выражают мысли. там много над чем можно поработать и сделать реально хорошую токеномику. Недавно новость была, юзер с реддита сделал типа аналог фотошопа потратив 2000$. Но продукт мягко скажем не очень. Вот было бы неплохо добавить систему предсказания сколько тот или иной проект потребует токенов выбрав тот или иной ЯП(от него тоже зависит потребление токенов), используя промпты на тот-то языке. Включение или отключение рассуждений, использование кэша. Статистика уже собрана достаточно большая по проектам. Вот для вайб кодеров и не только, было бы незаменимо. решил сделать очередной фотошоп, расчет выдал 2000$ на клоде, 3500 на GLM 5.2. Прикинул и не стал делать))

Хочешь улучшить и оптиизировать работу с LLM используй Jev https://docs.typesafe.ai/introduction

А ты хоть прочитал что это или просто заплатили за пост? Это очень узкая модель, не умеющая генерировать текст а работающая с вероятностями. Причем пилот - нет независимой проверки достоверности результатов.  Я с такого начинал, потом понял что очень ограниченная область применения.

Даже отвечать на это не буду. Не разобравшись с контекстом (речь шла о формате экономии токенов), не прочитав для чего используется, не посмотрев инструменты примененияя. Воистину - два дебила это сила.

Да мог бы и не начинать. давай, ткни пальчиков  по твоей линке - где конкретно там про экономию токенов? Тебя никак не смутил, что прайс есть только на исходящие токены?