Встретил тут слезы, что мол нет денег чтоб зайти и протестировать мой сервис. Это при том что каждый зареганный получает бонус, достаточный чтобы поиграться с хорошими моделями, которые напрямую из РФ недоступны.Решил пойти навстречу, тряхнуть стариной и запилитьс свой сервис с моедлями, которце будут крутиться прямо в облаке моем и будут практически даром. В итоге добавил контецнер с ollama, он полностью независим, никуда не ходит, работает для посетителей. Вопрос - какие модели до 4Гигов лучше всего работают? чтоб не получать примерно такой урок 😂
рассматриваю такие
Можно. Нужно только правильные ниши найти, где очень много чайников, небольшой бюджет и большой спрос. ;)
Ну и это не единственный проект и метод заработка. Жить только на это было бы не очень комфортно. Здесь ловлю только через SEO и низкочастотники. Расходов на рекламу нет. Если делать рекламу, то, наверное, можно было бы только на этом выезжать. Но я не складываю яйца в одну корзину.
Если это про меня, то я конкретно написала файлы .wpress. Продаю готовые сборки для узких ниш. Все нужные плагины, настроенные под ключ, все страницы с контентом, который нужно под себя подогнать плюс полная инструкция от импорта до работы с сайтом.
Это примерная схема, как работает
Можно взять и стандарт - MCP, но наверное это избыточно. Достаточно написать свои инструменты, просто грамотно дать им премишены, что агент твой не снес весь репо и не сказал "Извините" 😂 На Пайтон это довольно просто реализуется, но не думаю что на Раст сильно сложнее будет. Я когда-то баловался таким, даже где-то валяется готовый код агента, если нужно- могу показать. Но он сильно уступает по качеству хорошим моделям, чисто для изучения и понимания как это все работает писал...
Локально без интернета? Какая у тебя оперативка(сколько гиг), какую модель используешь? Агент может удалять файлы?
ЗЫ. Я пробовал несколько моделей, удалять файлы не могут.
Да, локально поднимаю. У меня мак М4 и всего 24 гига оперативы. Кроме того есть докер, там вообще оллама крутится в 5 гигах оперативы. Естественно только самые простые модели.
Ну и ты неправильно прочитал мой текст. Я развернул олламу для сервера, для экономии токенов. Разработку делал агент в гитхаб копайлоттни одна модель не умеет запускать файлы или выполнять команды. Для этого нужен специальный тул. В моем случае это гитхабовский аналог МСР сервера. Если ты сам разворачиваешь локально модель, для стандартизации ты можешь исплльзовать именн MCP. Но зная, что ты любитель граблей -ничто не мешает на том же Раст написать свой тул
Опять в соседней теме слезы про то как ИИ сносит базы...
Мой сегодняшний кейс. Решил как алтернативу поднять отдельно как провайдера Оллама и посмотреть - сможет ли он тянуть какие либо задачи?Протестировал локально. Вроде работает. Развернул в проде ловлю ошибку: "Не хватает памяти" Решил посмотреть, что сделает агент. Пишу - "Вот тебе ошибка, вот тебе команды для доступа в консоль сайта - определи что случилось"Ну и он пошел. Реально было интересно наблюдать как он это делает. Первым делом посмотрел память, убедился что достаточно. Ну это логично.
Потом начал смотреть во что упирается оллама. Вот не знаю, сколько бы я потратил времени, чтобы узнать, что Оллама изначально смотрит в кэш а не в реальную память, а он забит. Он ее почистил, перезапустил контейнеры, изменил таймаут(ответ еще падал по времени) Почистил дисковое пространство.Проверил контейнеры( там было еще много итераций, но все по делу) В Итоге рапортует - все работает. Я только хотел попросить его внести изменения в гит, но получаю сообщение что все уже добавлено в коммит, осталось смержить в мэйн.
То есть он отработал как грамотный девопс, используя все скилы что у него есть.В итоге ушло минут 15 на то, что сам бы я делал хорошо если час.Кстати в копайлоте нравится мне система агентов Handoff - создаешь их под определенные задачи и они железно применяются, в отличие от скилов.
На днях агент там какому то крупному проекту базу данных снес. А они будут наделять его большими полномочиями.
Уже же есть результаты тестов когда он атакует оператора, когда использует стратегию недопускать отключения даже путем хитрости.
