Скажем так я теперь знаю какой был домен. Проект точно существовал и я уверн , что и авторство тоже.. Но комментировать не буду, если автору не изявит желание (в вебархиве есть)
Вот на моем примере можешь пояснить, что конкретно не хватило?
По мне так: Код на месте и доступен, задача описана, мысли озвучены. (можно запустить и посмотреть).
PS А можешь назвать домен того портал, что у тебя был, на который ты ссылаешься часто?
Не понял в чем эфимерность фразы? четко обозначена задача, а далее пошло сравнение. "ограничение частоты запросов" вполне понятный термин для этой ниши разработки. Так же и применение термина "серивис" внутри проекта вполне себе "устоявшееся".
Цель было сравнить результаты работы трех агентов. И четко описано что один заработал сразу, в следующих было несложные правки и то же заработало. (это все описано в моем сообщении)
Так же представлен и код, т.е. для программиста нет проблем при желании посмотреть, попробовать и получить свое мнение о результате.
Разве что вывод общий не написал: если готовы к своему проекту допускать джунов, то допускать агента точно можно вообще без вопросов.
Может стоит сообщения не по диагонали читать? ;)
Вот цитата из сообщения
"Задачей было создать сервис для фреймворка (т.е. по сути все ИИ не имели "базы знаний" конкретно по нему): ограничение частоты запросов (Rate Limiting)."
Ну естественно нет. Я попросил ИИ выполнить задачу, сервис, который может стать часть фреймоврка . Уточню под "сервисом" тут понимается не какой-то интернет сервис дающий посетителям нечто, а просто часть логики проекта отвечающая за определенную задачу. В данном случае возможность ограничения количества запросов от отдного пользователя в заданную единицу времени.
В плане "фреймворк помог" - тут я имел ввиду именно то, что ожидается от инструмента подобного класса. Я воспользовался его функционалом для реализации своей небольшой задачи. Она живет в моей домашней сети и выполняет мне нужную функцию. точно так же я мог бы сделать и на ларавель и на любом другом фреймворке. Тут просто появился повод погонять фреймворк на реально нужной мне задаче.
[6/12] Очередной этап челенджа. Экватор
Увы этот месяц был сильно загружен работой. И по челенджу ни чего не сделал.
Правда провел тест-сравнение на правах "вне конкурса". Поставил одну и ту же задачу трем разным агентам/моделям. Т.е. промпт основной записал в файл и "скормил" всем трем кандидатам.
GigaCode - бесплатный тариф. Тут с ходу минусы: вообще не понятно какие ограничения, сколько потрачено, сколько осталось. Как я понял (но это не точно) при достижении - его начинает колбасить и выдает какую то техническую ошибку.
Claude (Opus и Haiku) - Платно.
Задачей было создать сервис для фреймворка (т.е. по сути все ИИ не имели "базы знаний" конкретно по нему): ограничение частоты запросов (Rate Limiting). Описал требования и ограничения, необходимость тестов и т.п. Сначала запустил в режиме архитектора, потом уже реализацию.
Увы в спешке запустил их на разных коммитах фреймворка (но разница не критична для сравнения оказалась). Так же в плане claude похоже я реализацию поручил уже хайку. (по невнимательности и неопытности)
Предложенную архитектуру сам прочитал бегло, не правил ни чего, скормил ИИшке для равнения (только основное приведу):
Выбор алгоритма
И дал таблицу где по нескольким параметрам дал оценке по десятибальной шкале. У опуса везде 10 и 10 кроме одной 9, и гага всех хуже, яндекс по середине.
После реализации. Единственный результат, который заработал из коробки SourceCraft. Клод действительно точнее всех следовал архитектуре фреймворка. В прочем тут из основного в этой задаче конфиги у меня типизированные подразумевается.
Но тем не менее все срывались на какие то "типовые" (принятые в популярных фреймворках) шаги. Например гига и клод - вызовы методов "привычных" или с "привычным" набором параметров, а не так как в фреймворке (что и привело к неработоспособности). Яндекс тоже косячил в этом плане - но это не привело к нерабочему коду.
Тесты написали все. Но яндекс гонял тесты не только своих результатов, но и полностью все тесты. Опус написал тесты не для всех созданных классов, проверял только написанные собой тесты (которые не затронули ряд новых классов) - в итоге код нерабочий, (который, уверен, был бы исправлен за одну итерацию, если бы клод запустил все тесты).
Гига... этого пришлось тормознуть. т.к. он полетел в разнос. Запустил тест, чего то поправил, опять запустил, посыпались ошибки как я понимаю от каких то ограничений бесплатного тарифа. - в общем не стал я рисковать.
Вероятно полезно было дать инструкцию, чтобы они выполняли коммиты более атомарно.
По итогу, все решения я достаточно быстро запустил: минут 15 наверно на правки ушло. Правда правил костыльным методом - для продуктового решения мне надо уже детально вникнуть, возможно даже доработать фреймворк будет правильно (например чтоб мидлвары с параметрами указывать без необходимости раннего создания объекта)
Из общего: в из я сказал что для тестов надо написать хранилище данных в массиве (оно не имеет смысла для данной задачи на бою) и все его сделали в основном пространстве имен, а не в тестах (но возможно стоило уточнить).
Опус и гига пошли четко по тз и реализовали идентификацию пользователя по Ip (согласно задаче), а вот яша подошел творчески. Кроме Ip сделал реализации по Ip+UA, по ключу апи, по идентификатору пользователя, а так же для комбинированной идетификации.
Результаты можно посмотреть
claude
sourcecraft
gigacode
В итоге однажды в прод пойдет комбинация из решений SourceCraft и Claude
Опять садишься на своего "коня" ведущего в тупик? Не стоит этого делать.
Вот именно, по этому и чаще всего, а особенно если есть команды на старте, запускаются поэтапно - и это вполне отработанный и успешный путь.
Естественно при любом раскладе. Именно по этому нет смысла к первому релизу вылизывать все в идеал. Особенно если продукт рассчитан на пользователей, а не на "себя любимого".
Странная реакция на шишки. Обычно анализируешь ошибки, делаешь выводы и следующий проект спокойнее запускаешь.
