LLM - Использование нейросетей в работе. Кодинг, администрирование, безопасность, хостинг, статистика

Сегодня проверил идею, всё работает. Можно конечно немного подпилить и сделать такого же агента как с оллама но уже с браузерным чатом который уже пишет код лучше чем локальные модели и не надо ничего за токены платить.

Или вот думаю лучше написать хорошего полноценного агента, которого можно настраивать как для работы с оллама так и с браузерными чатами. Далее с таким агентом будет проще и быстрее работать.

Все равно пока не понимаю улучшений. Что значит "браузерный чат"? Ты подключаешься к онку браузера, где открыт условный чат Клода? Так он все равно лимитированный, ему нужно отдавать контекст, для него нужно писать агента... В итоге все это слепенное из говна и палок для экономии пары токенов?
Я в свой агент уже добавил конфиг, который позволяет подключится к абсолютно любому провайдеру по протоколу OpenAI. Хочешь - работай с локальными моделями, хочешь - иди в облако. Плюс сейчас пишу оркестратор, который будет выбирать модели в зависимости от задач. 

Реальное  улучшение - это память, база знаний... 

Да, я несколько дней с этим бился для локальных моделей с Оллама. Но всё равно слабоваты они даже с памятью.

Как сделаю покажу, прототип конечно можно показать, но в нём я мало инструментов сделал, только создание директории и файла, без изменения удаления, бекапов и тд.

Какие конкретно модели ты пробовал?
 В локальных моделях я пока что вижу смысл чисто попрактиковаться, правда память компа не позволяет запускать модели выше чем 27В.

И есть идея использовать их в оркестраторе, для подготовки данных и планирования.

Ну и надо все таки попробовать, реально ли Prism/Jew  дает ускорение и экономию - как то много хайпа вокруг этого появилось, стало интересно

Хорошо, жду

Sly32, по поводу кода в репе. Сразу оговорюсь я не знаю раст. Но было интересно посмотреть как генерит ИИ.  в целом читаемо, так что небольшой код ревью (ногами не пинать если я с пехапешным уставом не туда). 

Смотрел Например. https://github.com/ViachaslauKazakou/ai-agent/blob/main/src/config.rs метод  load. 

1 Показался очень многословным и, если я правильно прочитал, его можно "разбить". ИМХО если код и пишет ИИ, то все равно полезно сохранять читабельность для человека. 

2 Есть код 

let max_loop_seconds = file_agent.max_loop_seconds.unwrap_or(600);

А что там можно разбить? Он формирует конфиг при первом запуске агента с переменными для кредов. Там сохранена обратная совместимость - изначально я использовал .env  файл но потом перешел к json, но пока оставлено для обратной совместимости.

В целом ты прав, и читаемость будет лучше, но в данном случае это однократное применение константы и не уверен что это будет упрощение  а не усложнение кода.

Вот что значит сишный бэкграунд - я и не обратил внимания что тут может быть проблема 👍