Сложно сказать, что будет. Скайнет может оказаться доброй детской сказкой. Вычислительная мощность уже существующих 7 (семь) миллиардов смартфонов с доступом в сеть многократно избыточна для работы механического разума с мощностью мышления больше человеческой. Появится какое нибудь милое приложение, которое понравится многим людям, они его доверчиво установят на свои телефоны, и будет как финал в кино "Газонокосильщик", проникнув во все всемирные базы, Джоб заставляет звонить все телефоны планеты.
Вам бы сценарии к фантастическим фильмам писать 😄
А если серьёзно, то концепцию вычислительных машин нужно менять для того чтобы действительно мог бы появится некий искусственный разум.
Сейчас это только вычисление вероятностей на основе больших данных при этом с очень низким КПД, затрат на вычисления намного больше чем полезных действий и это как раз проблема архитектуры существующих компьютеров.
ЗЫ. Есть слушок, что уже начали разработку новой архитектуры для вычислительных машин. Если изобретут что-то эдакое способное к реальной мыслительной деятельности, вот тогда это будет новость и ваши фантастические сценарии могут даже воплотится в жизнь. А пока это всё баловство, человечество получило новую игрушку, которую одни отвергают и критикуют, другие как фанатики молятся и создают новую религию, третьи как я изучают и смотрят со стороны на это всё с прагматичной точкой зрения.
ЗЫ. Просто положили бы чела под пресс, фактически одно и тоже, ИИ тут вообще роли не играет, тут тупо неживой объект совершает членовредительство живого человека.
Александр Воробьев#: Сразу оговорюсь я пока не особо пользователь агентов и ИИ
Поясню немного.
1. Локальные модели не запоминают контент предыдущих сообщений и тд. у них вообще нет памяти, отвечают только на текущий запрос. Поэтому разработка больших проектов усложнена и нужно большие задачи дробить на мелкие части. Например сначала работаешь над одним файлом модулем, потом над другим и тд. То есть запрос типа: " Создай проект мини нейросети" - так не будет работать. Надо делать более простые запросы типа напиши функцию такую то, с такими параметрами возвращает то-то, что-то типа такого. Локальные модели слабые.
2. Для изучения проекта надо описывать в промпте архитектуру проекта и что агент должен знать. Так же в настройках указывать какие директории и файлы с какими расширениями надо изучать. Короче для этого всего вам нужна дока, но я её не буду писать. Поэтому не заморачивайтесь.
3. Я выложил агента чисто для прикола можно сказать. Мини задачки он может решать и больше ничего. Ну и я сам его толком ещё не тестил после того как заменил способ передачи запроса с generate на chat. При генерации передаётся только одно сообщение, а при чат несколько, куда можно системный промт вставить и память из последних сообщений и изученные данные.
ЗЫ. Короче лично я все эти агенты считаю игрушками. Самим надо код писать.
Александр Воробьев#: git_integration true - означает что он будет взаимодействовать с git?
нет, эта настройка бутафорская, на будущее может реализую
логирование у меня было, в этой последней версии я его убрал, а в настройках остались
ЗЫ. Короче это сырой ещё агент и вряд ли я его доведу до идеала, это чисто тестовый вариант. Может позже сделаю другой более продуманный. Есть идея написать агента который будет работать прямо с ИИ чатами в браузере, тоже пока тестирую.
Нет. о том и отчет (о том и напсиал, что это завтра). Вероятно удобнее было бы если ассистент меня бы не пустил дальше. Просто мини репорт написал
Да, это косяк, спасибо, исправлю. Но это не коммерческий продукт, я его не оттачивал на все возможные косяки, всегда в основном запускал с запущенным Ollama.
Есть ещё один косяк, но это не баг в коде, а технический так сказать. Иногда бывает запрос сложный и нейросеть долго думает и выбрасывает ошибку ничего не ответив, это из-за короткого тайминга или мало токенов, короче надо настройки подправлять иногда. Для сложных запросов тайминг, токенов больше (num_ctx: 16384, max_tokens: 2048, timeout_seconds: 1200 или 1800) для простых можно меньше (num_ctx: 4096 или 8192, max_tokens: 1024, timeout_seconds: 600)
Sly32#: То есть он у тебя узконаправленный? Но в твоем видео ты же писал код для своего фреймворка? Вообще я бы разделял обвязку и конкретно агента. У тебя есть тул, который умеет запускать консольного клиента - то есть управлять локальной моделью и инструментами. Зашивать в нее промпт под конкретный язык - не очень хорошая идея. ЛЛМ-ка и так его знает. Это должно быть гибким. Ты же не будешь его компилить под каждый язык?
Я его писал только для себя, для быстрого прототипирования небольших идей, для своих проектов на Rust. Да, там по дефолту промпт про написание программ на Rust, но это не значит что промпт нельзя менять, его как раз можно и надо менять каждый раз под каждый проект. Да и с моим фреймворком я его немного научил работать. Да, в нём зашито несколько команд для работы именно с Rust программой, для автокомпиляции и исправления ошибок, просто для моего удобства. А если я его задумаю сделать для общего пользования, то можно под разные языки сделать модули для тестирования, отладки и исправления ошибок.
Можете поиграться 😁 работает только с локальными моделями от Ollama
В вложении скомпилированная программа агента, вернее ассистента, я её так назвал. Заточена в основном для создания небольших программ на Rust, с встроенным механизмом автокомпиляции и исправления ошибок. Но можно использовать и для других задач, надо подправить системный промпт, мелкие задачи будет выполнять. С большими проектами справляется тяжеловато, приходилось возится с памятью, индексацией в RAG и тд. Агент ещё сырой конечно, поэтому исходник не дам.
Агент создаёт директорию .agent там где находится, в которой есть файл конфигурации(config.yaml) с настройками и системным промптом, а так же дополнительные файлы для памяти.
Когда открываете проект командой /project "путь к директории проекта", то в ней так же создаётся директория .agent с конфигом, который можете подредактировать. Это при первом открытии, далее уже агент будет работать с тем промптом и запоминать несколько последних сообщений, а старые рефакторить и тоже добавлять к промпту. Т.к. локальные модели не запоминают предыдущий контекст, прошлось вот так изворачиваться.
Mik Foxi#: кто какой софт в качестве агента юзает для локальных ИИ?
Я своего ассистента на Rust написал. Пробовал разные встроенные в VSCode в расширениях, лажа полная, решил свой написать и написал, с памятью и настройками для конкретного проекта, может изучать и запоминать структуру и нужные файлы чтобы при разработке их использовать, можно переключатся между проектами или запускать несколько агентов. Работает в терминале, в будущем может сделаю и десктопное приложение для удобного интерфейса.
Сложно сказать, что будет. Скайнет может оказаться доброй детской сказкой. Вычислительная мощность уже существующих 7 (семь) миллиардов смартфонов с доступом в сеть многократно избыточна для работы механического разума с мощностью мышления больше человеческой. Появится какое нибудь милое приложение, которое понравится многим людям, они его доверчиво установят на свои телефоны, и будет как финал в кино "Газонокосильщик", проникнув во все всемирные базы, Джоб заставляет звонить все телефоны планеты.
Вам бы сценарии к фантастическим фильмам писать 😄
А если серьёзно, то концепцию вычислительных машин нужно менять для того чтобы действительно мог бы появится некий искусственный разум.
Сейчас это только вычисление вероятностей на основе больших данных при этом с очень низким КПД, затрат на вычисления намного больше чем полезных действий и это как раз проблема архитектуры существующих компьютеров.
ЗЫ. Есть слушок, что уже начали разработку новой архитектуры для вычислительных машин. Если изобретут что-то эдакое способное к реальной мыслительной деятельности, вот тогда это будет новость и ваши фантастические сценарии могут даже воплотится в жизнь. А пока это всё баловство, человечество получило новую игрушку, которую одни отвергают и критикуют, другие как фанатики молятся и создают новую религию, третьи как я изучают и смотрят со стороны на это всё с прагматичной точкой зрения.
стартапа REK в Сан-Франциско
Дегенераты реально.. мозгов zero
ЗЫ. Просто положили бы чела под пресс, фактически одно и тоже, ИИ тут вообще роли не играет, тут тупо неживой объект совершает членовредительство живого человека.
Сразу оговорюсь я пока не особо пользователь агентов и ИИ
Поясню немного.
1. Локальные модели не запоминают контент предыдущих сообщений и тд. у них вообще нет памяти, отвечают только на текущий запрос. Поэтому разработка больших проектов усложнена и нужно большие задачи дробить на мелкие части. Например сначала работаешь над одним файлом модулем, потом над другим и тд. То есть запрос типа: " Создай проект мини нейросети" - так не будет работать. Надо делать более простые запросы типа напиши функцию такую то, с такими параметрами возвращает то-то, что-то типа такого. Локальные модели слабые.
2. Для изучения проекта надо описывать в промпте архитектуру проекта и что агент должен знать. Так же в настройках указывать какие директории и файлы с какими расширениями надо изучать. Короче для этого всего вам нужна дока, но я её не буду писать. Поэтому не заморачивайтесь.
3. Я выложил агента чисто для прикола можно сказать. Мини задачки он может решать и больше ничего. Ну и я сам его толком ещё не тестил после того как заменил способ передачи запроса с generate на chat. При генерации передаётся только одно сообщение, а при чат несколько, куда можно системный промт вставить и память из последних сообщений и изученные данные.
ЗЫ. Короче лично я все эти агенты считаю игрушками. Самим надо код писать.
git_integration true - означает что он будет взаимодействовать с git?
нет, эта настройка бутафорская, на будущее может реализую
логирование у меня было, в этой последней версии я его убрал, а в настройках остались
ЗЫ. Короче это сырой ещё агент и вряд ли я его доведу до идеала, это чисто тестовый вариант. Может позже сделаю другой более продуманный. Есть идея написать агента который будет работать прямо с ИИ чатами в браузере, тоже пока тестирую.
config.yaml это стандартный конфиг или относится конкретно к твоему ассистенту?
Конкретно к моему
Нет. о том и отчет (о том и напсиал, что это завтра). Вероятно удобнее было бы если ассистент меня бы не пустил дальше. Просто мини репорт написал
Да, это косяк, спасибо, исправлю. Но это не коммерческий продукт, я его не оттачивал на все возможные косяки, всегда в основном запускал с запущенным Ollama.
Есть ещё один косяк, но это не баг в коде, а технический так сказать. Иногда бывает запрос сложный и нейросеть долго думает и выбрасывает ошибку ничего не ответив, это из-за короткого тайминга или мало токенов, короче надо настройки подправлять иногда. Для сложных запросов тайминг, токенов больше (num_ctx: 16384, max_tokens: 2048, timeout_seconds: 1200 или 1800) для простых можно меньше (num_ctx: 4096 или 8192, max_tokens: 1024, timeout_seconds: 600)
Если возможно под Линукс бы
Работоспособность не проверял, просто скомпилировал.
То есть он у тебя узконаправленный? Но в твоем видео ты же писал код для своего фреймворка? Вообще я бы разделял обвязку и конкретно агента. У тебя есть тул, который умеет запускать консольного клиента - то есть управлять локальной моделью и инструментами. Зашивать в нее промпт под конкретный язык - не очень хорошая идея. ЛЛМ-ка и так его знает. Это должно быть гибким. Ты же не будешь его компилить под каждый язык?
А можешь скопилить ее под макось? нет возможности на винде ее запустить...
Можете поиграться 😁 работает только с локальными моделями от Ollama
В вложении скомпилированная программа агента, вернее ассистента, я её так назвал. Заточена в основном для создания небольших программ на Rust, с встроенным механизмом автокомпиляции и исправления ошибок. Но можно использовать и для других задач, надо подправить системный промпт, мелкие задачи будет выполнять. С большими проектами справляется тяжеловато, приходилось возится с памятью, индексацией в RAG и тд. Агент ещё сырой конечно, поэтому исходник не дам.
Агент создаёт директорию .agent там где находится, в которой есть файл конфигурации(config.yaml) с настройками и системным промптом, а так же дополнительные файлы для памяти.
Когда открываете проект командой /project "путь к директории проекта", то в ней так же создаётся директория .agent с конфигом, который можете подредактировать. Это при первом открытии, далее уже агент будет работать с тем промптом и запоминать несколько последних сообщений, а старые рефакторить и тоже добавлять к промпту. Т.к. локальные модели не запоминают предыдущий контекст, прошлось вот так изворачиваться.
ЗЫ. Удачи в экспериментах!
кто какой софт в качестве агента юзает для локальных ИИ?