Дорген PandoraBox - вопросы и ответы + апдейты. Часть 2

Хочу пару мыслей добавить.

1. kxk, Надеюсь ты не понтануться решил просто? А то жеш есть и покруче карточки, например titan x

2. Ни на какой карточке и ни при каком размере сети/числе слоев между предложениями не начнет появляться смысл. Предложения в абзаце текста не станут логически связаны.

Выдуманные слова уйдут если юзать пословную генерацию, а не побуквенную. Теоретически, их и в побуквенной их станет очень мало на большом объеме входного массива текстов. И чтобы долго не ждать как раз тут помогла бы хорошая видяшка. Но все-таки..

Никак не получится сделать так, чтобы текст был осмысленным. Будут возможно лет через 20..30, одновременно с появлением настоящего искусственного интеллекта. Но не щас.

Если не ошибаюсь, то осмысление - это результат работы высшей нервной деятельности. А как она работает - до сих пор никто ниче не знает.

По есть получается, та же самая морковка?

TopperHarley, Да хотел я купить Titan X Pascal, но долго ждать доставку, а я хотел на вчера:)

Жаль, я думал монстра напряч, ну чтож буду Ватч догов ждать, может в 4к смогу прогреть мою машинку:)

---------- Добавлено 20.11.2016 в 00:51 ----------

TopperHarley, Бунты и тп это серверное, нелюблю бунты на десктопах и никогда не пойму.

Не совсем.

Цепи Маркова применительно к генерации текста - это вероятностный выбор нового слова в цепи опираясь на Х предыдущих слов. В пандоре есть 2х и 3х словная длина цепи.

А пословная генерация нейросетью работает так: все слова текста заносятся в словарь. Получается что при побуквенной генерации как бы тоже есть словарь, только он состоит из букв и символов(суммарно 50..60 знаков в словаре получается).

А при пословной генерации получаются десятки тысяч слов в тексте, что как можно заметить гораздо больше). Словарь поэтому раздувается пипецки сильно. Обычно без настройки параметра -threshold тут тупо заканчивается оперативка внутри видяшки. Если через threshold обрезать словарь так чтобы были только часто упоминаемые слова, то тренировку сети все же удается запустить даже на слабеньких карточках, что я и сделал во 2м из 3х моих тестов.

Далее последовательность уходит на обучение сети. Сеть - это кучка искусственных нейронов со своей собственной памятью. Каждый нейрон "помнит" что через него прогонялось, какие были символы до него, на 2 шага до него, на 3 шага и тоже самое вперед, на 1 шаг, на два шага и т.д. Это задается настройками. Когда сеть запомнила что да как, можно дать ей всего 1 символ на вход и она начнет галлюцинировать ) То есть использовать свою накопленную память.

Важный момент, если слоев 2 или более то результаты галюнов первого слоя уходят на вход следующему слою и т.д.

Это то как я понимаю работу сети, не факт что правильно) Все имхо

Так что разница есть, похоже, но есть. Хоть ее и трудно объяснить

Вот тут офигенно описано то как работают сети. Не про генерацию текста, но вообще про сети.

---------- Добавлено 19.11.2016 в 23:58 ----------

Отбрось свои заблуждения

Серверная убунта - это ось "Ubunta Server".

А просто убунта - это просто обычная десктопная ось, такая же как и венда

Кроме нас.

Ни когда не говори никогда, дядька в 1966 году, вон какую штуку написал. А тогда возможностей было намного меньше и производительности не те и языки программирования не те. :)

По твоей ссылке:

Я разве не об этом выше говорил?

Кроме элизы знаешь сколько чатботов написано за всю историю?

Даже Siri не понимает о чем сообщает, хоть она и написана не в 1966 году

А если словарь сократить путём синонимизации? Например привести все слова «скорый, скоростной, стремительный, проворный» к «быстрый». Или вообще описать набором правил. А потом уже когда произойдёт генерация, применить обратно синонимизацию / выборку по набору правил. Конечно осмысленности не получится, но возможно получится, что-то более или менее читаемое.

---------- Добавлено 20.11.2016 в 00:19 ----------

Так то пофиг, что увлечённый пользователь раскусит подставу, главное, чтобы увлечённый бот не заметил подвоха. А пользователю можно и красивую клоаку показать. 😂

Давай забудем на миг что ты - дорвейщик, а я - доргенщик.

Представляешь что было бы если бы (у бабушки был...) был способ генерить осмысленный текст?

Отпала бы необходимость прятать тексты клоакой(хотя прятали бы слив тока)

Представляешь какие ПФ были бы?

Серчер читал бы инфу про то как правильно купить виагры онлайн, ну или там увеличить причандал свой)

Серчер был бы счастлив + соответственно ПС была бы счастлива + как следствие вебмастер был бы счастлив

В идеале увлекательный текст с помощью ИИ должен склонять серчера в действию, в котором заинтересован вебмастер

---------- Добавлено 20.11.2016 в 01:56 ----------

Еще ссылок в тему.

Женя Густман - это имя, данное программе, которая в 14 году смогла пройти тест тюринга, то есть убедить судей(не всех) что эта программа - человек.

А вот интервью с этой программой :

https://interpreted.dirty.ru/perevod-moia-beseda-s-evgeniem-gustmanom-chat-botom-o-kotorom-vo-vsekh-novostiakh-govoriat-kak-o-proshedshem-test-tiuringa-686981/

Я прочитал с огромным удовольствием.

Правда из интервью становится понятно, что судьи, по всей видимости, были наркоманами.

Сути дела это не меняет, т.к. и в первом и во втором случае будет большое количество плохих n-грамм, по которым и будут фильтроваться доры

http://rcdl.ru/doc/2009/306_308_Section09-3.pdf