Слышь бездарь, позоришься как раз ты 😉
Большая языковая модель это не только данные, а главное архитектура, обработчики и генератор текста нейросетью, а это ПО которое может работать автономно без подключения к интернет(см. моё сообщение выше). Можно в облачном сервисе настроить если модель тяжёлая, облегчённую можно на мощном компе попробовать или микросервисные кластеры на нескольких компах.
ЗЫ. Бестолочь, надоел ты мне, тебе бесполезно что-то объяснять..
Бездарь не спорь со мной никогда 😁
LLM это именно ПО устанавливаемое на какой либо компьютер. Модели нейронной сети могут работать локально при наличии данных, но желательно подключение к интернет для использования других хранилищ данных так как локально нужны большие объёмы как оперативной так и дисковой памяти + вычислительные мощности для обработки данных.
ЗЫ. Для установки на ноут или слабый ПК это конечно баловство, а вот если компьютер мощный + производительная видеокарта + SSD диски с большими объёмами, то вполне
Вы не понимаете, что такое децентрализация 😄 LLM - это ПО для установки языковых моделей нейросети локально.
Централизация - это когда есть центральный сервер\офис и все дочерние клиенты производят операции\транзакции через этот сервер\офис. К примеру финансовая пирамида, у неё есть владелец\организатор и центральный офис через который клиенты обращаются и производят операции купли продажи неких акций, если центральный офис перестанет работать, владелец взял кубышку и свалил или пришли из гос.структуры и закрыли, то всё плакали ваши финансы. Все существующие организации в основной своей массе централизованы.
Децентрализация - это когда нет центрального сервера\офиса, все операции производятся непосредственно между пользователями такой системы. К примеру криптовалюты, есть блокчейн в котором хранятся записи транзакций пользователей и эта цепочка данных хранится у многих пользователей системы, такую систему невозможно закрыть, это надо всех её пользователей найти и нейтрализовать, а это очень маловероятно, что случится, когда их тысячи, миллионы...
В данном контексте темы. Есть поисковые сервисы например Google, Yandex, они централизованы, у них есть сервера на которых собирается информация о существующих сайтах в сети. Пользователь заходит на сервис, вводит то, что хочет найти и получает список сайтов с серверов этих поисковиков, где есть искомая информация. При централизации минус ещё в том, что это монополия, владелец может делать так как ему вздумается.. Сломай их сервера(запусти туда ракету) и поиска не будет. А если система будет децентрализованная, то данные будут размещены на многих компьютерах, то нарушить работу такой системы будет гораздо сложнее. При децентрализации пользователи обоюдно договариваются об использовании системы. В этом и смысл децентрализации.
Итог один: Франция, Париж, тюрьма 😐
С таким подходом и вас так же могут посадить, не важно, что сделали или нет.
Реально. У меня уже есть некоторые наработки в этом направлении, но работы ещё много.
Ну давай, расскажи как правильно, очень интересно))) А то куда уж мне. Как там твоя нервная сеть осмысленный текст генерирует?
Делать мне нечего 😆 тебе объяснять только время терять, бестолковое занятие. Вот если бы ты что-то действительно знал, тогда можно было бы о чём-то с тобой говорить.
ЗЫ. Попробуй на своём Пайтоне написать простую нейросеть без сторонних библиотек, которую можно обучить нескольким фразам и чтобы потом в зависимости от вопроса она генерировала нужную фразу. В процессе может узнаешь как и что может нейросеть, а что не не может. Получишь ответы на свои вопросы данной темы. А пока мне с тобой больше не о чем тут говорить.
Ой, надоел уже, не понимаешь о чем пишешь и что тебе пишут. Достаточно вот этого бреда -
Тебе говоришь про слои и методы выбора, я ты детскую чушь лепишь, не понимая как тут токены привязаны. осмысленный))) Какая осмысленность в трансформере, чудик? Трансформер-слой выдает на выходе распределение вероятностей следующего слова, дальше в зависимости от стратегии выбирается следующий токен. Но судя по всему ты и значения токен в данном контексте не понимаешь. Базовую теорию выучи сначала, потом умничай.
Неужели? 😁 Это тебе как раз надо поучить...
Всё в одну кучу свалил.. Я тебе конкретный вопрос задал ранее, как происходит генерация осмысленного текста в нейросети.
Ты вообще в курсе, что такое нейронная сеть трансформер? Почему её так называют? Их много разных разновидностей, от работы с текстом, изображениями, видео, предсказания и тд., а также мульти совмещённые несколько видов сразу: распознавание голоса, генерация текста и речи, генерация текста и видео и тд. ...
Опять ты про токены, это к самой нейросети отношения имеет только косвенное, чтобы данные преобразовывать в числовые вектора по которым нейросеть уже будет просчитывать и выдавать выходные данные.
Давай, разжуй 😀
Тому, кто разбирается, достаточно того что я привел, чтобы понять, как система делает токенизацию данных, если тебе это нужно разжевывать, то это значит только то, что ты ничего не понимаешь. Ты до сих пор не понял даже, что такое натренировать модель и сколько это стоит. Вот это то, что ты пытаешься выдать за свою нейросеть - чепуха несусветная. Ты понимаешь хоть уровень затрат? русский алфавит это уже 33 токена, сколько базовый словарь займет? Не самая новая LLama Это от 24 Гигов. Популярная Llama 3.2 1B сьела 370к часов тренировки на GPU, а не домашнем компе с мощностью 700W, Выброс СО2 - 107 тонн!!! Это только основная таблица без квантизации, адаптеров и тюнинга! А ты тут заливаешь что написал свою языковую модель. Твоя модели и "Мама мыла раму " не сможет сказать.
Надоел уже со своими сказками. Ни слова по делу не знаешь, пример привести не можешь, ни одного термина не понимаешь. Не засоряй тему.
Всё с тобой понятно.. Твой уровень интеллекта сопоставим с теми кто утверждает, что ООП это вред. Да, ты используешь ООП и знаешь его плюсы перед функциональным программированием, да ты используешь разные готовые решения в том числе и ИИ. Но то как оно работает не понимаешь и не знаешь, постоянно ссылаешься на разные источники, библиотеки и тд. Даже в этом ответе ты даже ума не приложил, что я тебя спросил, а я спросил о том как генерируется осмысленный текст нейросетью. Если бы у тебя реально были знания в этой области, то ты тут не писал бы о азах про веса, токенизацию и прочее. Да это основы нейросетей, но то как происходит составление фразы\предложения с осмыслением ты даже понятия не имеешь..
ЗЫ. Развлекайся в своей теме дальше, мни себя мега гуру по нейросетям..
