Что может, что не может AI. Обсуждаем возможности, делимся опытом, спорим, но в рамках приличия.

не хаос
На сайте с 18.10.2021
Offline
83
#811
Sly32 #:

в трансформере есть механизм self-attention, который формирует ответ. Нужно рассказывать в 10-й раз что такое трансформеры, токены и прочие составные части LLM?


Не нужно, я думал ты по человечески объяснишь все толком, для тех кто не учил это. Ладно, сам погуглю, коли так.

S3
На сайте с 29.03.2012
Offline
355
#812
не хаос #:

Не нужно, я думал ты по человечески объяснишь все толком, для тех кто не учил это. Ладно, сам погуглю, коли так.

Входной текст:
"Я люблю читать книги"

1. Преобразование слов в векторы (эмбеддинги):
[Я]      →  v1
[люблю]  →  v2
[читать] →  v3
[книги]  →  v4

2. Self-Attention (каждое слово "смотрит" на все остальные):
v1' = f(v1, v2, v3, v4)
v2' = f(v2, v1, v3, v4)
v3' = f(v3, v1, v2, v4)
v4' = f(v4, v1, v2, v3)

(результат — контекстно-зависимые векторы)

3. Feed-Forward слой:
Каждый вектор проходит через нейронную сеть → улучшается представление смысла

4. Выход:
- Если трансформер декодерный (например GPT): генерируется следующее слово
- Если энкодерный (например BERT): получаем векторное представление всей последовательности

Проще я не знаю уже как

P
На сайте с 26.04.2010
Online
408
#813
Sly32 #:

Ну так давай и проверим?

Ну выкладывай что тебе придумал ИИ, чтобы денег заработать.

Идей может быть много. Рабочих единицы. Чтобы такие приносили доход - 99% времени и сил это то, что называется полиш (ее "полировка"). Никакой ИИ тебе этого не сделает. Мелкие детали осознавать и продумывать может только человек. Поэтому все, что ты будешь со своим ИИ делать, летать в фантазиях бредовых идей и их правильных решений. Только это никому не сдалось. Платить за это не будут.

S3
На сайте с 29.03.2012
Offline
355
#814
plab #:

Ну выкладывай что тебе придумал ИИ, чтобы денег заработать.

Идей может быть много.

Ты вообще помнишь о чем речь была? При чем тут идеи? Напоминаю -твое утверждение:

plab #:
Все прогеры-люди различают, чему можно подражать, что можно взять целиком, а что надо подгонять, где учебное кодо-дерьмецо, а где код профи. ИИ даже этого сделать не может - отделить зерна от плевел. Он жрет все - и ложь и правду. Находит в этом среднестатистическое.

При чем тут идеи, если мы говорим про качество кода?

plab #:
Все прогеры-люди различают, чему можно подражать, что можно взять целиком, а что надо подгонять, где учебное кодо-дерьмецо, а где код профи. ИИ даже этого сделать не может - отделить зерна от плевел. Он жрет все - и ложь и правду. Находит в этом среднестатистическое.

Уверен? давай какую свою старую идею - прогоним через ИИ - сможет ли он ее улучшить?
Я часто свои закидываю и он мне дает дельные советы по улучшению
В бизнес-аналитике давно уже применяется и успешно

Сергей про е-ком
На сайте с 11.05.2008
Offline
309
#815
Sly32 #:

Проще я не знаю уже как

Эмбеддинги на Берти, кстати, работают очень печально. И для больших объёмов данных рассуждающие модели отрабатывают слова многим лучше, т.к. они видят вариации и хоть как-то могут относить запросы к разным группам.
Крутейшая тема и конструктор на WP - https://shop.greenshiftwp.com/?from=3338
Сергей про е-ком
На сайте с 11.05.2008
Offline
309
#816
Sly32 #:

Ты вообще помнишь о чем речь была? При чем тут идеи? Напоминаю -твое утверждение:

При чем тут идеи, если мы говорим про качество кода?

Уверен? давай какую свою старую идею - прогоним через ИИ - сможет ли он ее улучшить?
Я часто свои закидываю и он мне дает дельные советы по улучшению
В бизнес-аналитике давно уже применяется и успешно

Тоже чего-то не понял, куда Ваш вектор соскользнул.

В бизнес-аналитике, конечно, не панацея, но со сборкой и структурированием информации справляется на ура, экономя не мало часов и часто показывая то, что не в фокусе.

S3
На сайте с 29.03.2012
Offline
355
#817
Сергей про е-ком #:
Тоже чего-то не понял, куда Ваш вектор соскользнул.

Это обычное соскакивание с темы, когда что-то ляпнул, а подтвердить слабо - вот и начинается увод в сторону

Сергей про е-ком #:
Эмбеддинги на Берти, кстати, работают очень печально.

А что с ними там не так? Это как раз очень сильный двунаправленный энкодер, один из лучших для NLP

Сергей про е-ком
На сайте с 11.05.2008
Offline
309
#818
Sly32 #:

Это обычное соскакивание с темы, когда что-то ляпнул, а подтвердить слабо - вот и начинается увод в сторону

А что с ними там не так? Это как раз очень сильный двунаправленный энкодер, один из лучших для NLP

То, что он не думает. ) Ну, точнее, он не проводит векторы так, чтобы объединять по принципу. Возможно это и можно как-то сделать, но не в моём случае (АИ, кстати, тоже говорит, что подобные истории лучше делать через AI).
S3
На сайте с 29.03.2012
Offline
355
#819
Сергей про е-ком #:
То, что он не думает. ) Ну, точнее, он не проводит векторы так, чтобы объединять по принципу.

все равно не понял. БЕРТ это не обычная ЛЛМ, он не для генерации а для классификации, там нет послойного декодирования токенов. В GPT - есть и он для генерации лучше

не хаос
На сайте с 18.10.2021
Offline
83
#820
Ладно, Sly. Действительно, необходимо подтянуть эти знания и уже затем участвовать в дискуссиях. 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий