ИИ врёт?

Может. Если специально потребовать этого, чтобы перебить системный промпт, заданный в чате - "you are helpful assistant" и т.д. А в чате именно такой промпт по дефолту и есть. Поэтому он и начинает придумывать. А если пользоваться не чатом, а через API - там и выдача другая будет. И кстати у разных вендоров и модели разные, и промпты системные для юзеров разные - разный ответ будет.  А если и в чате задать свой промпт, можно и там его заставить по другому отвечать.

Вот я в чате клода в профиле указал ему в персональных предпочтениях вот такой тейк "I prefer brutal honesty and realistic takes then being led on paths of maybes and 'it can work'." Так он теперь на мои идеи как бы извернуться с каким-нибудь нестандартным вариантом применения какой-нибудь библиотеки, фреймворка или инструмента регулярно выдает про "brutal reality" и то что не надо впихивать невпихуемое и лучше не изобретать себе геморрой, а решать стандартными методами.

А в чате жпт (который у меня на двоих с супругой) в персонализации у него вот такое "Your job is to support the user in accomplishing their goals by aligning with their goals and preference", так он на тот же запрос (я часто параллельно в оба чата кидаю одну и ту же проблему для перепроверки) всячески соглашается и начинает креативить, предлагая периодически явно переусложненные варианты решения, еще и своими уточняющими вопросами подталкиваю по уже выбранному пути.

В итоге клод у меня как 50-летний прагматичный сеньор давно работающий и много чего повидавший. А чат жпт как 30+ летний сеньор новичок только на днях устроившийся в ту же контору, фонтанирующий энтузиазмом и потому готовый с разбегу занырнуть в любое архитектурное непотребство.

И да, это не отменяет того, что обоих надо проверять. Так как оба трансформеры и по своей природе это вероятностные генераторы текста.

А еще AI-режим в Гугле если надо быстро нагуглить и получить выжимку про что-то с чем я раньше не сталкивался. И да, там я тоже периодически открываю ссылки, чтобы свериться с исходными текстами, из которых он выжимку делал.

Но читая что другие пишут в тг и на реддите, понимаешь - чаты это так, только верхушка для масс-маркета. За 3 года с анонса чатжпт (а особенно за последний год) индустрия ушла далеко за пределы простого задавания односложных вопросов в окошке чата. И подобные оценки "так как его называют ИИ, то он должен быть умнее прокладки между клавиатурой и стулом, а раз галлюцинирует, то это не ИИ, а скам" это скорее результат, во-первых, маркетинга и нереалистичных ожиданий на волне хайпа, а во-вторых, нежелания понимать что это просто инструмент, его принципов работы (а значит ограничений) и нежелания учиться с ним работать (а это тоже следствие мнимой легкости работы с ним - см п.1).

Да и кстати, топик надо переименовать. Что значит "врёт"? Врал бы, если бы это было намеренно. А исходя из принципов работы архитектуры трансформера, LLMки генерируют наиболее вероятное продолжение текста. То есть на момент генерации, то что она выдает и есть наилучший вариант ответа. Поэтому предлагаю заменить заголовок на "ИИ искренне заблуждается?"

разве искренность это не одушевленная материя, присущая только разуму и душевной конституции высшего существа на Земле - человеку?

разве можно понятие искренности применять к машине?

Чату жопити и не нужно выдавать искреннее)))

Его ответы можно оценивать как истинну или ложь. Наука логика про это.

Чат жопити имеет свойство нести пургу (ложь), так родилась лженаука о промпт-инжиниринге. 😁

А Вы задайте один вопрос пяти чатам жпт, и если все их ответы совпадают – значит они говорят искренне.

Создали люди прекрасную вазу, некоторым обязатель нужно в нее плюнуть ..
ИИ наше фсё ..

Ии часто не знает какие сегодня число. О чем вы. Например ответ: «по состоянию на текущий 2024 год бла бла». Из недавнего, просил составить гороскоп на февраль, он мне рассказал про два новолуния в месяце, что технически невозможно с учётом 28 дней в месяце и лунном цикле 29,5 дней. Поэтому без понимания темы, да, можно наворотить)

Из явного вранья когда они врут и выкручиваются, давал ему ссылку на сайт, после этого он стал добавлять в ответы кое какой текст, который мог увидеть в футере сайта. Я: ну ок. Через пару дней попросил его оценить инфу по ссылке, говорит, я не умею открывать ссылки. Врут)

у грока попросил перевести мне денег на карту, ввел ему номер виртуальной карты - сказал все, друг, перевел. Денег не поступило, почему то.

Раньше писали - "скачать бесплатно без смс и регистрации в хорошем качестве"

Теперь вот так пишут - промтом обозвали поисковый запрос, но это ничего не изменило. Понятия как не было так и нет. Можно писать что угодно, просить умолять, но модель либо может, либо нет. Тут нет магии, абсолютно.
ИИ не может врать, по определению, потому как не имеет чувств,  он либо ошибается, либо нет. Само собой - ошибается. И есть написать - не ошибайся, это никак не поможет. Это инструмент. Это тоже самое что спросить - верите ли вы молотку? 
Есть сферы где уместно применять, есть где не совсем уместно.