Из мой недавней практики. Сами виноваты. Простой проект, простой код. Все путём. Добавляется сложность и ИИ начинает нести пургу. Сначала чуть-чуть, потом пурги становится все больше и больше. Если агента не контролировать, а просто кормить ему одну фичу за другой, то код превратится в тёмный лес. И чтобы в этом лесу ориентироваться ему нужно много итераций и много токенов. 

Это не зло, это просто так работает, если снять контроль или не иметь его с самого начала. Выхода два: или с самого начала жёсткая понятная архитектура проекта и указание "шаг в сторону растрел". Но для этого нужно разумно спланировать всю структуру перед началом кодинга. 

Второй вариант, если изобретаем и придумываем в процессе кодинга, то вести на жёстком поводке. Давать спланировать, откорректировать план, дать написать. По мере роста делать рефакторинг.

Я сама программист, но с вайб-кодингом не подружилась. Ии агентам не доверяю. Пишу мелкие задачи, прошу спланировать, корректирую план, итерация, и только потом код. Получается дёшево и сердито в плане токеном. Чистый, понятный код. Но в разы медленней, чем вайб-кодинг.

А вы в какой стране находитесь? Про блокировки в РФ случаем не слышали? Про белые списки тоже? Про ТПСУ, РКН и вот это все? Почитайте на досуге, погуглите, интересные вещи. Или это не про (для) вас и вы для доступа к запрещенному контенту используте методы, нарушающие законы РФ?

Немцы так делают. Не только в Германии, а и в соседних странах и за это их жутко не любят. 😀

А для чего он нужен? 😀 Инфы везде хорошей предостаточно, и плохой тоже. Пока отсортируешь мух от котлет, инфа уже устареет и время улетит. Поэтому нужны тьюторы, чтобы актуально и правильно. 😊

Но вот это уже как бы пройденный этап. Пробовала парсить, чанки - ембединги, само собой, складывала в pgvector. То, что документаций на 100% актуальных и полных не бывает - это факт. Т. е. где-то устарело, где-то забыли добавить. К тому же там еще были намешаны описания дополнительных опциальных модулей. У обучающего прав на его установку не было. Поэтому в ходе сбора нужно было убирать всю информацию по допмодулям. Но чисто не получилось. Оставались ошметки. Додумалась еще пропарсить GUI через playwright, чтобы было реально видно, что видит пользователь в натуре. Дальше генерировала на основе обучающий контент. Естественно в GUI были незадокументированные фичи. Возникал вопрос по Чернышевскому "Что делать?":
1. Дать ИИ погадать в контексте RAG, что это могло быть.
2. Ограничить его, чтобы честно выдавал "я, хз, что это такое"
Дальше выходило обновление какой-то библиотеки. Его нужно было забить в RAG, не проблема. А дальше нужно было перегенировать весь статичный обучающий контент, чтобы это изменение учесть. Тут у меня вынесло мозг и закончились токены.

Результат: весь эксперимент был выброшен на помойку.

И вот пока я это все писала, я подумала, sly, а не мог бы твой ИИ тутор научить меня создавать RAG, чтобы с самого начала правильно, максимально на автомате, но чисто. И при этом не пожирая 10000000 токенов для изменения двух строчек? Может?

А это другая целевая группа. Тут, ты хотел научиться. А я смотрю с другой стороны, я хочу научить. ;)
Я знаю, как правильно, я делаю ручками. Я вижу галюцинации и понимаю, что для обучения других (не меня) я не могу это использовать без четких рамок. Может быть RAG здесь даже не выход, это я в него уперлась, потому что пока другого выхода не вижу. Короче, как ограничить галюцинации до минимума? Потому что все эти темы, объяснения, квизы заканчиваются там, где начинается смесь документаций (старые/новые версии), переводы интерфейсов на другой язык, или просто отсуствие какой-то информации в открытом доступе, где ИИ начинает важно выдумать несуществующие функции, меню, кнопки.

Я вижу шанхай в виде документаций, публичных и закрытых, заметки на полях, сообщения об обновлениях/изменениях, 100500 источников. 
Я не о Python basics, для этого есть достаточно ресурсов. Я о том, что в принципе не существует или существует, но очень быстро устаревает.
Тройная боль:
- как накормить RAF существующим хаосом
- как поддерживать его в актуальном состоянии
- как делать ревью сгенерированного контента, не читая каждой строчки

Вот если это когда-нибудь будет, мне будет лично очень интересно. Пока то, что я вижу: такой своеобразный custom ChatGPT с вопрос/ответ системой и неконтролируемыми галлюцинациями. 😏 

Вот в это все и упирается. Остальное написать/создать/закодить не проблема. Как создать качественный RAG, если информация в принципе на 30% в неструктурированном виде в голове репититора. Как запихать его голову в RAG?

Я понимаю, что это уход от темы. Но лично для меня любое создание контента для обучения на данном этапе упирается в RAG. Все остальное - это код, который пишется в 2-3 дня. Не проблема.

Вопросы интегрированы в сам урок? Т. е. урок построен на основе объяснение, вопрос, ответ? И вопросы-ответы фиксированы. Т. е. никаких новых вопросов ИИ не придумывает? А если придумывает, то откуда берется основа для вопросов. И еще раз откуда берется само объяснение темы? Если его генерирует LLM, то это критично из-за галлюцинаций. Если оно берется из RAG, то все туда и упирается. Создать качественный RAG (из чего?), и потом за ним ухаживать (расходы на человеческий ревью) и жить с тем, что даже с RAG ИИ может ошибаться....

Может быть я очень консервативно к этому подхожу, потому что у меня бэкграунд в сфере профобразования и я знаю, чем это может закончиться, если один раз пустить что-то на самотек или положиться на самобочение.