Давайте.
Есть идеи? )))
Я практически никогда не пишу о темах, которые мне далеки - ты мог бы это заметить уже. Даже по форуму - я вообще не захожу в темы, которые вне сферы моих интересов. Да, я постоянно гуглю перед ответом, сверяюсь с ИИ. Но это для того, чтобы изложить свою мысль понятнее и точнее. Могу забыть какое то слово, термин. Что толку выкладывать кашу из головы. А так я даю тебе понятный и структурированный ответ, более того - сам перезапоминаю информацию эту. Но я не стану писать про то, что для меня темный лес. Я начал излагать факты по строению нейросетей только после того как полез, вспомнил элементраную математику, что в них используется и как. Чтобы не выдать такие перлы как ты про матрицы. Мне было бы стыдно такое писать.
Ну, аргументируй на примерах, я не против увидеть свои пробелы.
Почему же ты не смог этого сделать на примере моего сервиса, я дал тебе ссылку. Давай, как программист - оцени что именно плохо там, не общими словами.
Что бы делать лучше - нужно сначала узнать как уже сделано. Очень рекомендую
то есть у тебя есть другой алгоритм?
И мамба решает проблему attention а не весов.на сегодня есть несколько альтернатив но ни одна не реализована по многим причинам.Назови хоть одну - которую ты готов решить?
Итак, итоги моего дня. В результате работы со своей моделью пришел к выводу что крайне сложно обучить нормальную модель на маленьком датасете. Менял токенизацию, параметры - не работает. Итого варианты1. Собрать больше данных - нужно от 30 мегабайт данных для обучения2. Использовать готовую модель от оллама и дообучить - это размер и время
3. Плюнуть и стрпться на RAGЕсли нужны подробности - спрашивайте
Местное население такой фигней не страдает.
Если ты считаешь, что твоя кожа чем-то отличается от кожи араба, то ты не прав.
