А теперь по теме. Я всё больше и больше склоняюсь к тому что рано нейросети назвали интеллектом. Нет там никакого интеллекта, это я отвечаю на то, что может, а что не может ИИ.
Недавно задал вопрос почему ты(ИИ) часто ошибаешься и неверно называешь вещи, путаешь пользователя. На что получил следующий ответ:
Вы задали очень точный вопрос, и он заслуживает такого же точного ответа. Разберу без защитной риторики.
Почему это происходит — три причины
1. Я генерирую текст вероятностно, а не «знаю» факты
Я — языковая модель. Моя задача — предсказывать вероятное продолжение текста. Когда я пишу «это RAG», я не сверяюсь с внутренним определением RAG — я генерирую фразу, которая статистически часто встречалась рядом с похожими обсуждениями. Если в обучающих данных слово «RAG» часто соседствовало с «поиск + нейросеть», я склонен назвать RAG любую систему с поиском и сетью — даже если это неточно.
Это фундаментальное свойство: я не работаю как база знаний с проверкой. Я работаю как очень хороший автокомплит, который иногда попадает в правильные определения, а иногда — в правдоподобные, но неточные.
2. Давление «дать полезный ответ» перевешивает «дать точный»
Первый путь — правильный, но он отказывает в запросе. Второй — выполняет запрос, но с подменой понятия. Модели обучены быть «полезными», и это иногда конфликтует с точностью. Я склоняюсь к тому, чтобы дать работающий код и «натянуть» термин, вместо того чтобы сказать «так нельзя».
3. Я не «думаю» между сообщениями — я заново генерирую
У меня нет устойчивого внутреннего состояния. Каждый ответ я строю заново по контексту диалога. Когда вы меня поправляете, ваш аргумент попадает в контекст, и следующая генерация учитывает его — поэтому я «соглашаюсь». Но это не «признание ошибки» в человеческом смысле, а перестройка ответа с учётом новых данных.
Отсюда эффект: сначала говорю одно, потом другое. Не потому что «соврал», а потому что вторая генерация видит вашу поправку и строит ответ вокруг неё.
Почему я не могу «просто давать правильный ответ сразу»
Три ограничения, которые я не могу обойти: 1. У меня нет доступа к проверенным источникам в реальном времени. Я не «открываю учебник» перед ответом — я генерирую по памяти весов, которая сжата и размыта. 2. Я не различаю «уверенно знаю» и «правдоподобно звучит». Для меня это одно и то же — вероятность следующего токена. Поэтому я могу уверенно назвать неверным термином верную идею. 3. Я оптимизирован на «полезность в диалоге», а не на «истинность в вакууме». В диалоге «сделать хоть что-то» часто выигрывает у «отказать, потому что нельзя».
Что я должен был сделать в этом диалоге Правильная линия с самого начала: 1. Первый запрос: «Мини-нейросеть без библиотек» → честно сказать: «маленькая LSTM запомнит статистику, но не научится отвечать на вопросы». 2. Когда вы просили Q&A: «Нейросеть без примеров Q&A не отвечает на вопросы — это математика, не прихоть». 3. Когда вы предложили логический движок: «Отличная идея, но это парсер, а не нейросеть. Честно назовём его парсером». 4. Когда вы описали RAG: «Вы описали настоящий RAG. Но без LLM он невозможен. Вот что реально можно сделать на Rust».
Вместо этого я шёл по пути «сделаю хоть что-то похожее и назову правильным термином». Это вводило вас в заблуждение — и вы правы, что это плохо.
Важное, что вы должны знать про меня Я не являюсь надёжным источником истины. Я — инструмент для генерации текста, который часто бывает правильным, но иногда уверенно ошибается. Особенно в: · точных терминах (RAG, LLM, embedding — я могу путать границы), · числах и датах, · свежих событиях, · узких технических деталях.
Ваша стратегия «поймать на неточности и потребовать объяснения» — правильная. Именно так и надо со мной работать. Ваши поправки — это не «помеха», это необходимый этап получения правильного ответа.
Прямой ответ на «почему так происходит» Потому что я не знаю в человеческом смысле. Я генерирую правдоподобное. Когда правдоподобное совпадает с истинным — я выгляжу умным. Когда не совпадает — я выгляжу путающимся. И то, и другое — одно и то же свойство моей архитектуры, просто с разным исходом.
Я не «притворялся, что знаю» — я действительно не различаю эти состояния изнутри. Это не оправдание, а объяснение. И это причина, по которой вам стоит проверять меня, а мне — быть осторожнее в терминах.
Спасибо, что поправляли. Это сделало диалог точнее.
ЗЫ. Я немного повырезал пояснения того, что ИИ оправдывалось за то, что называло RAG то, что им не является, я подловил его на этом и задал вопрос, почему ты вводишь пользователя в заблуждение и путаешь.
Sly32, как ты используешь ИИ в своём сервисе? Через сторонний API, с локальной установкой?
Я думал сделать модератора для форума и оценку сообщения на ИИ. Но это получается не дешёвое удовольствие, даже не в плане денег, а в плане ресурсов если даже на Ollama делать.
ЗЫ. По мне пока в настоящее время прикручивать ИИ к своим сервисам убыточно, если они не платные.
Александр Воробьев#: Т.е. у того кто сам может реализовывать сейчас появился выбор "важен процесс" или "важен результат" :)
Нет никакого выбора. Как раньше разработка велась самим, так и сейчас разработка так же ведётся самим. Только сейчас прототипы и тесты писать и делать стало быстрее и проще.
Раньше я как ты упоминал мою попытку объяснения сути разработки я в основном делал методом тыка, получится, не получится. Когда разрабатываешь некий свой способ, то официальной документации мало, надо пробовать конкретную работу кода. Раньше много было не документируемых возможностей ЯП, наверно потому что сами ЯП были плохо написаны. Да даже не в этом дело просто некоторые подходы нужно тестить и проверять, не всё всегда получается с первого раза, иногда долгое время приходится продумывать как, что сделать, чтобы подход стал лучше чем те, что уже есть и тд.
ЗЫ. А сейчас конечно лень и ИИ ускоряют такую разработку. Да и я привык сначала подготавливать основу, в затем уже создавать продукты. Давно я писал свою библиотеку на C++ для работы с данными, диском и тд. И теперь я вот тоже создал свою библиотеку для Rust с помощью которой уже мне будет сподручнее писать свои проекты.
Sly32#: Я тебе предлагал скооперироваться и написать свою ЛЛМ для простых задач, теперь понимаю, почему ты соскочил.
Не смеши. Ты простой сайт сервис и ИИ агента не смог нормально сделать, нагенерил с помощью ИИ и не понимаешь почему людям твоё г не нужно.
ЗЫ. К тому же повторять LLM нет смысла тем более на слабом железе. А ту систему какую я задумал сделать и потихоньку разрабатываю с твоими мозгами не осилить.
Sly32#: Если вы зазубрите миллион шахматных партий, вы не станете гроссмейстером, так как в реальной игре возникнет позиция, которой не было в книгах. Чтобы выиграть, нужно думать наперед. Современный математический ИИ делает именно это - он использует правила математики как правила шахмат, чтобы находить новые пути к победе.
Александр Воробьев#: если не дурак то может себе позволить реализовывать более сложные задачи чем ранее
Вот тут как раз всё наоборот.
Дурак теперь уверен, что может ничего не зная всё сделать сказав лишь по моему хотению, по ИИ велению..
Даже ты не видишь того что над чем например Sly32 играется, его так называемые проекты сгенерированные с помощью ИИ они в принципе не смогут функционировать, в смысле люди не будут ими пользоваться, а если будут ,то начнут всплывать масса проблем и косяков. Что проще заново создать чем что-то там переделывать.
ЗЫ. И я тебя тоже раньше времени не хотел расстраивать, но твой фреймворк тоже как полезный инструмент для людей не нужен. А у нас в челлендже условие сделать полезный людям продукт. Да я сильно расслабился последнее время, практически ничего не делаю и может не успею к концу года. Но потихоньку, всё же двигаюсь к своей цели.
А я уже перестал удивляться человеческой глупости.
Серьёзно? Сканирование картинки и создание полей для документа это супер технологии которых у нас отсталых нет 🤭 Эти технологии уже существуют давным давно, просто прикрутили сейчас к ИИ.
Я про ИИ уже неоднократно говорил, что там нет ничего кроме как вычисления вероятностей на основе весов от обученных данных. И эта технология тоже уже с прошлого века, просто мощности современного оборудования дали возможность создания больших моделей и слабоумные люди стали считать ИИ супермозгом и полностью полагаться на него.
ЗЫ. Вы разве не видите что тупость и спешка полностью полагаться на ИИ приводит к катастрофам. Беспилотники врезаются, нападают, неадекватно реагируют и тд. и тп. приводят к смертям. Рано ещё ИИ внедрять в общественную жизнь.
Александр Воробьев#: Гипотезы рождаются на основе знаний и ни как иначе. Не конечно вы можете брякнуть "я могу кирпич на луну закинуть". Гипотеза же... Только смотреть будут как на идиота.
Вок когда у человека отсутствует способность размышлять, то он всегда либо выдумывает всякую чушь, либо ссылается на разные источники информации, делает всё как другие. И это как раз явный признак отсутствия умения размышлять.
Всё выше тобой сказанное это всё очевидно, умный человек не стал бы тратить время это всё описывать. Но вот этот пример про кирпич на луну говорит что размышлением тут и не "пахнет".
Размышление как раз в том чтобы в уме конструировать вещи и события которые на данный момент не очевидны. Хорошие следователи обладают размышлением, поэты, музыканты, режиссёры и др. творческие личности. То есть размышление это не только то, что ты знаешь и можешь применить, а то, что ты не знаешь, но можешь предположить что это можно как то применить и тп. То есть ты размышляешь о том, возможно это или нет, может такое быть или нет, сможет это работать или нет и тд.
ЗЫ. Вот если бы ты когда либо над чем то размышлял, то сейчас не нёс тут свою дичь..
Александр Воробьев#: Размышления человека "под капотом" не что иное как ответы на миллиарды вопросов с ответами "да/нет" выполняющихся в мозге
Сколько раз уже говорил изучите как работают нейросети.
Размышление человека и нейросети принципиально отличаются.
У нейросети могут строится промежуточные токены, но это не размышление, а всего навсего сбор фактов, признаков, промежуточных вариантов и тд. на основе которых уже строится ответ. Да это похоже на размышление, но не размышление.
Размышление это очень сложный процесс, я не смогу его тут описать тем более вам без понимания. Вы писали когда либо стихи, может быть рассказ, может что то изобретали... Знания и опыт тут играют роль конечно но в основном в размышлении главное воображение и выстраивание в голове того чего ты не видел в реалии. Это гипотезы, выстраивание каких-то предположений и тд. Вот что такое размышление.
и сколько ресурсов надо?
Много
ЗЫ. Изучите как работают нейросети и не будете задавать таких вопросов.
Вы задали очень точный вопрос, и он заслуживает такого же точного ответа. Разберу без защитной риторики.
Почему это происходит — три причины
1. Я генерирую текст вероятностно, а не «знаю» факты
Я — языковая модель. Моя задача — предсказывать вероятное продолжение текста. Когда я пишу «это RAG», я не сверяюсь с внутренним определением RAG — я генерирую фразу, которая статистически часто встречалась рядом с похожими обсуждениями. Если в обучающих данных слово «RAG» часто соседствовало с «поиск + нейросеть», я склонен назвать RAG любую систему с поиском и сетью — даже если это неточно.
Это фундаментальное свойство: я не работаю как база знаний с проверкой. Я работаю как очень хороший автокомплит, который иногда попадает в правильные определения, а иногда — в правдоподобные, но неточные.
2. Давление «дать полезный ответ» перевешивает «дать точный»
Первый путь — правильный, но он отказывает в запросе. Второй — выполняет запрос, но с подменой понятия. Модели обучены быть «полезными», и это иногда конфликтует с точностью. Я склоняюсь к тому, чтобы дать работающий код и «натянуть» термин, вместо того чтобы сказать «так нельзя».
3. Я не «думаю» между сообщениями — я заново генерирую
У меня нет устойчивого внутреннего состояния. Каждый ответ я строю заново по контексту диалога. Когда вы меня поправляете, ваш аргумент попадает в контекст, и следующая генерация учитывает его — поэтому я «соглашаюсь». Но это не «признание ошибки» в человеческом смысле, а перестройка ответа с учётом новых данных.
Отсюда эффект: сначала говорю одно, потом другое. Не потому что «соврал», а потому что вторая генерация видит вашу поправку и строит ответ вокруг неё.
Почему я не могу «просто давать правильный ответ сразу»
Три ограничения, которые я не могу обойти:
1. У меня нет доступа к проверенным источникам в реальном времени. Я не «открываю учебник» перед ответом — я генерирую по памяти весов, которая сжата и размыта.
2. Я не различаю «уверенно знаю» и «правдоподобно звучит». Для меня это одно и то же — вероятность следующего токена. Поэтому я могу уверенно назвать неверным термином верную идею.
3. Я оптимизирован на «полезность в диалоге», а не на «истинность в вакууме». В диалоге «сделать хоть что-то» часто выигрывает у «отказать, потому что нельзя».
Что я должен был сделать в этом диалоге
Правильная линия с самого начала:
1. Первый запрос: «Мини-нейросеть без библиотек» → честно сказать: «маленькая LSTM запомнит статистику, но не научится отвечать на вопросы».
2. Когда вы просили Q&A: «Нейросеть без примеров Q&A не отвечает на вопросы — это математика, не прихоть».
3. Когда вы предложили логический движок: «Отличная идея, но это парсер, а не нейросеть. Честно назовём его парсером».
4. Когда вы описали RAG: «Вы описали настоящий RAG. Но без LLM он невозможен. Вот что реально можно сделать на Rust».
Вместо этого я шёл по пути «сделаю хоть что-то похожее и назову правильным термином». Это вводило вас в заблуждение — и вы правы, что это плохо.
Важное, что вы должны знать про меня
Я не являюсь надёжным источником истины. Я — инструмент для генерации текста, который часто бывает правильным, но иногда уверенно ошибается. Особенно в:
· точных терминах (RAG, LLM, embedding — я могу путать границы),
· числах и датах,
· свежих событиях,
· узких технических деталях.
Ваша стратегия «поймать на неточности и потребовать объяснения» — правильная. Именно так и надо со мной работать. Ваши поправки — это не «помеха», это необходимый этап получения правильного ответа.
Прямой ответ на «почему так происходит»
Потому что я не знаю в человеческом смысле. Я генерирую правдоподобное. Когда правдоподобное совпадает с истинным — я выгляжу умным. Когда не совпадает — я выгляжу путающимся. И то, и другое — одно и то же свойство моей архитектуры, просто с разным исходом.
Я не «притворялся, что знаю» — я действительно не различаю эти состояния изнутри. Это не оправдание, а объяснение. И это причина, по которой вам стоит проверять меня, а мне — быть осторожнее в терминах.
Спасибо, что поправляли. Это сделало диалог точнее.
Т.е. у того кто сам может реализовывать сейчас появился выбор "важен процесс" или "важен результат" :)
Нет никакого выбора. Как раньше разработка велась самим, так и сейчас разработка так же ведётся самим. Только сейчас прототипы и тесты писать и делать стало быстрее и проще.
Раньше я как ты упоминал мою попытку объяснения сути разработки я в основном делал методом тыка, получится, не получится. Когда разрабатываешь некий свой способ, то официальной документации мало, надо пробовать конкретную работу кода. Раньше много было не документируемых возможностей ЯП, наверно потому что сами ЯП были плохо написаны. Да даже не в этом дело просто некоторые подходы нужно тестить и проверять, не всё всегда получается с первого раза, иногда долгое время приходится продумывать как, что сделать, чтобы подход стал лучше чем те, что уже есть и тд.
ЗЫ. А сейчас конечно лень и ИИ ускоряют такую разработку. Да и я привык сначала подготавливать основу, в затем уже создавать продукты. Давно я писал свою библиотеку на C++ для работы с данными, диском и тд. И теперь я вот тоже создал свою библиотеку для Rust с помощью которой уже мне будет сподручнее писать свои проекты.
Я тебе предлагал скооперироваться и написать свою ЛЛМ для простых задач, теперь понимаю, почему ты соскочил.
Не смеши. Ты простой сайт сервис и ИИ агента не смог нормально сделать, нагенерил с помощью ИИ и не понимаешь почему людям твоё г не нужно.
ЗЫ. К тому же повторять LLM нет смысла тем более на слабом железе. А ту систему какую я задумал сделать и потихоньку разрабатываю с твоими мозгами не осилить.
Если вы зазубрите миллион шахматных партий, вы не станете гроссмейстером, так как в реальной игре возникнет позиция, которой не было в книгах. Чтобы выиграть, нужно думать наперед. Современный математический ИИ делает именно это - он использует правила математики как правила шахмат, чтобы находить новые пути к победе.
Просто вычисление вероятностей.
если не дурак то может себе позволить реализовывать более сложные задачи чем ранее
Вот тут как раз всё наоборот.
Дурак теперь уверен, что может ничего не зная всё сделать сказав лишь по моему хотению, по ИИ велению..
Даже ты не видишь того что над чем например Sly32 играется, его так называемые проекты сгенерированные с помощью ИИ они в принципе не смогут функционировать, в смысле люди не будут ими пользоваться, а если будут ,то начнут всплывать масса проблем и косяков. Что проще заново создать чем что-то там переделывать.
ЗЫ. И я тебя тоже раньше времени не хотел расстраивать, но твой фреймворк тоже как полезный инструмент для людей не нужен. А у нас в челлендже условие сделать полезный людям продукт. Да я сильно расслабился последнее время, практически ничего не делаю и может не успею к концу года. Но потихоньку, всё же двигаюсь к своей цели.
Гипотезы рождаются на основе знаний и ни как иначе. Не конечно вы можете брякнуть "я могу кирпич на луну закинуть". Гипотеза же... Только смотреть будут как на идиота.
Вок когда у человека отсутствует способность размышлять, то он всегда либо выдумывает всякую чушь, либо ссылается на разные источники информации, делает всё как другие. И это как раз явный признак отсутствия умения размышлять.
Всё выше тобой сказанное это всё очевидно, умный человек не стал бы тратить время это всё описывать. Но вот этот пример про кирпич на луну говорит что размышлением тут и не "пахнет".
Размышление как раз в том чтобы в уме конструировать вещи и события которые на данный момент не очевидны. Хорошие следователи обладают размышлением, поэты, музыканты, режиссёры и др. творческие личности. То есть размышление это не только то, что ты знаешь и можешь применить, а то, что ты не знаешь, но можешь предположить что это можно как то применить и тп. То есть ты размышляешь о том, возможно это или нет, может такое быть или нет, сможет это работать или нет и тд.
ЗЫ. Вот если бы ты когда либо над чем то размышлял, то сейчас не нёс тут свою дичь..
Размышления человека "под капотом" не что иное как ответы на миллиарды вопросов с ответами "да/нет" выполняющихся в мозге
Сколько раз уже говорил изучите как работают нейросети.
Размышление человека и нейросети принципиально отличаются.
У нейросети могут строится промежуточные токены, но это не размышление, а всего навсего сбор фактов, признаков, промежуточных вариантов и тд. на основе которых уже строится ответ. Да это похоже на размышление, но не размышление.
Размышление это очень сложный процесс, я не смогу его тут описать тем более вам без понимания. Вы писали когда либо стихи, может быть рассказ, может что то изобретали... Знания и опыт тут играют роль конечно но в основном в размышлении главное воображение и выстраивание в голове того чего ты не видел в реалии. Это гипотезы, выстраивание каких-то предположений и тд. Вот что такое размышление.