Новый детектор ИИ для русских текстов, просьба протестировать и дать обратную связь

M3
На сайте с 09.02.2022
Offline
119
#51
chaturanga #:
задача предсказать следующий токен и это предсказание не будет однозначным
только если ты указываешь параметр рандомайзера, а если рандомайзер зафиксировать, то результат абсолютно всегда будет одинаковым, более того этот результат можно просчитать вручную на бумаге)

chaturanga #:
Это не хорошо и не плохо, недетерменированность - это её "нормальность"
наверное многие тут не понимают, но llm это детерминированная система)
S3
На сайте с 29.03.2012
Offline
373
#52
master32 #:

как это понять?
у всех нынешних AI точный математически предсказуемый результат

Математически - да, но ты забыл про sampling, который по факту делает ответы недетерменироваными
Даже если температуру =0 ставить
M3
На сайте с 09.02.2022
Offline
119
#53
Sly32 #:
Математически - да, но ты забыл про sampling, который по факту делает ответы недетерменироваными
Даже если температуру =0 ставить
так это и есть включение рандомайзера и выбор алгоритма, сделай не sampling, и фиксированный seed и результат уже предсказуем, без потери качества

S3
На сайте с 29.03.2012
Offline
373
#54
master32 #:
так это и есть включение рандомайзера и выбор алгоритма, сделай не sampling, и фиксированный seed и результат уже предсказуем, без потери качества

Да, есть такой  greedy decoding (temp=0, top_k=1, top_n=1) тогда ответ будет детерменированным. 
M3
На сайте с 09.02.2022
Offline
119
#55
Sly32 #:
Да, есть такой  greedy decoding (temp=0, top_k=1, top_n=1) тогда ответ будет детерменированным. 
с кучей оговорок, конечно, но контекст когда детерминация используется в качестве индикатора надежности,
лично у меня много мелких моделей 1b-2b-4b-8b и там воспроизводимость результата очень важна и она возможна, llm это не рандомайзер, как некоторые считают

C
На сайте с 22.08.2012
Offline
121
#56
master32 #:
результат можно просчитать вручную на бумаге

ну вот круг и замкнулся...

master32 #:
а если рандомайзер зафиксировать
int rand(){
  return 42;
}

S3
На сайте с 29.03.2012
Offline
373
#57
master32 #:
лично у меня много мелких моделей 1b-2b-4b-8b
посоветуешь локальную модель хорошую? 
LA
На сайте с 05.09.2011
Offline
145
#58
Sly32 #:
посоветуешь локальную модель хорошую? 
Тоже интересует, но вкупе с железякой. CPU, RAM, GPU.
У меня древний ноут и Ollama думает... Долго... 4b без thinking еще хоть как-то идет. Все остальное по 20-30 секунд на простой ответ.
S3
На сайте с 29.03.2012
Offline
373
#59
LikeAVirgin #:
Тоже интересует, но вкупе с железякой. CPU, RAM, GPU.
У меня древний ноут и Ollama думает... Долго... 4b без thinking еще хоть как-то идет. Все остальное по 20-30 секунд на простой ответ.
А я как раз ноут обновил - вот интересно, что он потянет. А то как то забросил локальные модели. Потому что вот сегодня играюсь с тьютором весь вечер,  создал 5 тестов, раз 15 их прошел в интерактиве - спалил докенов на 7 центов, что-то около 500К
Хочу вот еще подключить Anthropic API
O
На сайте с 22.03.2022
Offline
30
#60
Sly32 #:
вот интересно, что он потянет
https://www.canirun.ai/
CanIRun.ai — Can your machine run AI models?
CanIRun.ai — Can your machine run AI models?
  • midudev
  • www.canirun.ai
Detect your hardware and find out which AI models you can run locally. GPU, CPU, and RAM analysis in your browser.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий