Странный вопрос - а кто по-твоему готовит РАГ? Каждый ментор может тюнить свои уроки под себя. Но будет и публичный раг по темам, доступный все пользователям.
В это и смысл - ты не просто используешь ЛЛМ - ты дообучаешь его на своих уроках, убираешь галлюцинации.
Не пугай меня - какая Маша?? 😂
Без регистрации там почти ничего недоступно
Да. Мне посчастливилось работать в очень крутых командах, иногда я себя там ощущаю джуном, иногда Лидом, и все это - опыт, которого у тебя нет и не будет. Заметь - я работаю в Айти компании, "которая входит в престижные списки крупнейших публичных компаний, S&P 500 и Forbes Global 2000. В ежегодном рейтинге Excellence 1000 компания стабильно находится в топ-5 лучших поставщиков IT-услуг и консалтинга". Пик твоей карьеры - кладовщик, правильно?Дальше
Скажи, а ты зашел, посмотрел? Доступ открыт, регистрация занимает 5 минут или меньше, форумчанам я даю бесплатные кредиты, чтобы поработать с моделями -топами. Ты видел, какой там есть функционал? Хорошо студент - а расскажи что ты сделал за этот год, например? Уровня не студента? Вот просто интересно.Опять же я в сотый раз скажу - все мои проекты изначально не несут в себе коммерческой составляющей Получится - отлично, нет - это просто полигон моих идей. Захотелось повозиться с сео агентов - попробовал, многие наработки оттуда переехали в этот проект. Идея с сайтом для репетиторов витала давно именно из практики - я видел системы обучения, разрабатывал их, знаю недостатки и плюсы. И вот решил попробовать свое. Про финансы речь пока даже не идет - трачу на все из кармана.Изначально это были просто онлайн курсы, расписание - место где репетитору и ученику удобно найти друг друга. Но счас уже выросло в систему, построенную на ИИ
Если захочешь расскажу.
То есть ты попробовал и говоришь так уверенно? Что не так в ней? Я за критику, но конструктивную. Жду фидбэк - можешь только то, что тебе не понравилось. С какой системой ты сравнил?
Давай и тут конструктивнее - что по твоему лишнее в оллама? Я вот не вижу ничего - это обертка над llama.cpp которая решает несколько проблем, я уже выше писал каких. Но ты проигнорил мой ответ и опять нет конкретики.Обьясни , при чем тут локальное, если я ясно написал, что это будет крутится в облаке - я могу там поднять что угодно хоть на 64 гига памяти, хоть с GPUНа остальное отвечу позже.
LikeAVirgin #:
Неа. :D Я сколько раз пыталась в целях экономии времени и мозгов впихнуть побольше и на самотек. В результате: сделано
криво, бизнес-логика сломана в целях "улучшения", токены сожраны, время потрачено. Поэтому откат и поэтапно на коротком поводке. Но если токенов дофига и эксперимент - почему нет. ;)
Есть такие подозрения, но очень хочется испытать судьбу))) Кстати делаю как ты - написал в Соннет, дал на ревью ГПТ-Кодекс. Он нашел реально косяков несколько и предложил добавить примеры реализации из существующего кода.А потом запущу ревью снова в Соннет. Думаю прогнать еще несколько итераций перед началом. Это хорошо еще и тем что перечитываю, вспоминаю какие-то моменты по проекту, что уже есть или что косячное - прошу исследовать и добавитькстати реально дельное предложил
Прям офигеваю, как он крут и понимает меня. бац - и толковый анализ и изменения, даже не могу придраться пока что:За что его тут отругать?
Validation:
Завязывай уже фигнёй страдать, это всё ерунда. Хороших локальных решений нет, тем более с маленьким ОЗУ.
ЗЫ. По мне лучше свой движок написать для нейросети для локалки.
😂 Ваш совет очень ценный для нас. "Я тебя услышал"(с) Первая ракетка (посмотри эпизод 5 чтобы понять)
Но, давай поговорим аргументированно.Зачем мне локальный LLM? Главная цель - удешевление. Ты конечно же до сих пор не посмотрел мой проект, поэтому вкратце. Есть ИИ урок, который ведет ИИ учитель. Сам урок сгенерирован на мощных моделях, учитывает нюансы темы, содержит квизы и дополнительную информацию. Он очень круто работает на Клод и ОпенАИ, неплохо на Дипсик, но в любом случае это токены, за которые надо платить. Я хочу сделать пробные уроки, бесплатные для пользователя. Вот тут и вступает в дело локальный ЛЛМ. По большому счету мне не нужна мощная модель, потому что нужные данные по уроку уже есть, база знаний лежит в РАГ. Мне достаточно простого трансформера, который в приницпе работает как оркестратор. Причем это сейчас в бета-тестировании такие ограничения, чтобы не платить много. У меня и так на сервер уходит уже более 50 баксов в месяц. Плюс оплата токенов, но пока что там копейки.Теперь поговорим про
Давай аргументированно в этот раз. Чем это лучше? что это тебе даст? Какие недостатки в тех, что существуют ты увидел и знаешь что улучшить? Я вот не копал так далеко - я даже не знаю как это устроено. Знаю что llama.cpp написана на плюсах человеком, который перед этим написал whisper.cpp - крутую штуку для распознавания голоса, суперски работает локально, я на ее основе написал interview-cheater - локальную приблуду, которая работает в фоне во время интервью, слущает вопросы и выдает ответы) Она тоже была на локальных моделях в llama.cpp
Оллама написана на Go, поддерживается группой разрабов сейчас, изначально стартовала с бюджетом в $125 тыс.Ты реально считаешь что сделаешь что-то лучше? Без обид.
Но! Это очень хорошая практика - тут не спорю. Только прежде чем писать самому - нужно досконально разобраться в том что есть. Так что мой совет - сначала расковыряй существующие.Например - как ты будешь работать с CPU/GPU? Оллама, например умеет работать с любыми видами графических чипов, если включить поддержку СUDA - она на моем маке в три раза быстрее работает на М4. Специально смотрел разницу. Запущенная в докере и локально.Ты хорошо понимаешь разницу между GGML и GGUF? Для Apple Silicon инференс ускоряется через MLX - напишеь под него ускоритель сам?
Поэтому мне кажется интереснее решать задачи попроще, но где будет виден результат.Сразу говорю - не указываю тебе, это просто мое мнение
