Это вообще как раз таки не проблема совсем. Точно так же и любой программист (тот кто действительно этим занимается) не имея документации может разобраться в любом подходе (не обязательно "новом", тут точнее будет сказать "не знакомом" - порой приходит легаси с таким трешем :)))
Т.е. тут и речь как раз о том, что если человек создал вообще нечто кординально новое (не подход, а продукт). Для чего нет ни каких критериев правильно/не правильно. Это одно. А для фреймворка оценки его работы вполне себе понятны.
Если бы ты читал внимательно, что тебе пишут, то знал бы (и я это явно говорил) я иного и не утверждал ни когда. И не пытался даже. Это "во-первых"
А во вторых: противоречия тут нет. Они знают языки программирования, значит нет проблем прочитать код. Для нормальной разработки самое главное это результат. Т.е. оценка с точки зрения достигается ли результат или нет. Т.е. , если брать веб-фреймворк как пример: на основе некоей конфигурации должен получиться сайт. Ну а далее, если ему не дать документации по тому как конфигурировать - он будет извлекать в обратную сторону. Для него "фреймворк", "CMS", "конструктор сайтов" - понятные сущности. "как" это уже второстепенно. Если он не сможет разобраться имея код, как конфигурировать, то как это сделает простой пользователь? А если есть дока для пользователя - дай ее ИИ тоже. Что тут не так?
Далее оценка эффективности - тут он тоже может вполне прикинуть эффективность решения по сравнению с аналогами, (тут даже уже не особо и ИИ нужен, точнее не нужны его "запредельные" какие то возможности.
Хотя если ты под "тестированием" понимаешь не достижение целевого результата всего проекта, а какойто внутренний интересный только тебе кейс.... ну может быть, хотя не думаю, что тут будет трудно описать, что ты ждешь от теста.... По большому счету тесты это внимательность и рутина....
А в чем проблема для него с "новым подходом"?
Если он знает конечную цель всего проекта в целом, обучен языку программирования... Тут все точно так же как это бы разбирал и человек:
знаем общую цель, понимаем за что конкретно отвечает данная сущность в которой применен данный подход, далее читаем код и разбираем алгоритм. И тут у ИИ есть преимущество его точно не будет "смущать", например, отсутствие читабельности кода (будь там хоть однобуквенные, хоть 100буквенные-рандомные имена свойств; хоть оформлено с отступами, хоть в одну строку). Да и это может быть для конкретного человека "новым подходом" (что самого разработчика, что того кто пытается вникнуть)
Трудности могут быть только тогда если ИИ не будет знать какова конечная цель - он будет подбирать наиболее подходящую на основе анализа кода. Т.е. если кто то придумает, что ему нужен калькулятор, который при вычитании должен умножать, при этом в рандомном случаеуще и умножать на -1, а при умножении выдавать рандомное число, то да. Ни ИИ ни любой человек (кроме "создателя") это протестировать не сможет, пока не узнает четко сформулированные правила. Но это все уже не о "новом подходе"... Это все о "новой цели"
