Есть следующая идея:
Готов обсудить ее совместную реализацию с кем либо.
Я уже писал в другом топике о разработанной поисковой технологии на основе нейронной сети. Сейчас делаем переводчик с ин языка на рус. язык. Так вот случайно получилось, что возникла след программа (изначально писалось это для другого).
Представьте, что если бы задавая вопрос гуглу, в списке подсказок выпадали не варианты запросов, а окружение запроса. Т.е. вы вводите фразу: "Вася Пупкин" . в ответ получаете некоторое количество вариантов:
- Вася Пупкин шел по улице
- Усталый Вася Пупкин бежал
итд.
Далее делаете уточнение
"Дело было утром
Веселый Вася Пупкин бежал"
На что прога в ответ еще варианты:
"Дело было утром, когда все еще спали [пропущен абцац] Веселый Вася Пупкин бежал, спасаясь бегством от преследовавших его вчерашних собутыльников"
"Дело было утром, солнечные лучи восходящего солнца ласково щекотали вершины деревьев [пропущен абцац] Веселый Вася Пупкин бежал по лесной тропинке"
Делая те или иные уточнения (выбирая из предложенных), можно писать статьи фактически лишь кликая мышой и изредка дописывая или редактируя предложенные тексты. Этот инструмент может быть идеален для написания сочинений и коротких рассказов. Можно использовать и для науки, но там еще много задач нужно решить для этого.
Ervin, прочтите сопроводительную документацию по тому как задавать вопросы.
нужно строить так: заболевания при которых применяют наркотические анальгетики,
а еще лучше так: блоезнь, симптомы, заболевание при котором применяют наркотические анальгетики. Программа ведь не обладает телепатическими возможностями и незнает когда вы спрашиваете
"При каких заболеваниях показаны наркотические анальгетики."
что слова "при каких" нужно отбросить. Ессно она придает им значение и рейтинг искажается. Это конечно решается, но на данный момент просто нет надобности. Просто делаете описание, чем более длинное тем лучше. Очень скоро у вас будет возможность опробывать более навороченную версию. Эта безнадежно устарела.
По поводу памяти - демка не судите строго, мы занимаемся исследоаниями, нас такой способ пока устраивает, но будем переходит на БД или типа того.
andygray: программа работает с любым языком и кодировкой (однобайтовой) это не принципиально. Важно обучать и задавать вопрос в одной кодировке. Сейчас мы работаем над переводчиком, что для данного алгоритма мало отличается от поиска -это одного типа задачи. Так вот там будет возможность задавать запрос на английском, получать прямой перевод и еще найденный текст на русском, соответствующий запросу.
Для веба можно портировать, этим тоже в меру сил и финансов занимаюсь. Над проектом работает пока 2,5 человека. Но я не могу предположить какое будет быстродействие и каких ресурсов это потребует. Там бы лучше отказаться от компьютеров и сделать все на программируемой логике, было бы быстрее. Но это опять время. Сейчас все так суетятся и никто не хочет ждать.
Проще всего сделать на основе этой штуки аналог wolframalfa чем поисковик.
dr_dax добавил 15.06.2009 в 23:54
Еще добавлю применительно к поиску. У нас программа сочтоит из двух частей - это построение сети и нахождение решения. С первым проблем никаких нет, все уже утрясли. А задача поиска решена частично.
В плане поиска сейчас можно сделать следующее: задаешь вопрос. программа выдает варианты, как на основе заложенной в нее инфы она его понимает. Выбираешь вариант и получаешь ответ. Вот так просто и быстро.
1. вопрос - сколько текстов загонялось в сеть, для получения вышенаписанных рейтингов.
2. Если текстов было пара-тройка сотен, то программа, опирается только на них. Если у вас выбор действий из: почесаться, покушать, почистить зубы, то что вы выберите, когда вас попросят почесать зубы?
Эта версия только ищет и все! Больше ничего она не умеет!
Вы же видите, что там никаких словарей синонимов, а сама прога весит 150 кбайт (остальное интерфейс). Все на что может опираться система, эта на инфу которую ей скормят. Больше кормите- лучше.
По-поводу идей: все они основаны не на ровном месте, т.к. была проведена очень серьезная исследовательская работа и есть данные позволяющие эти предположения делать. Да, я не разбираюсь в существующих нейронных сетях, да мне это и не нужно. Насколько мне известно, существующие нейронные сети очень ограничены в своих возможностях и работают в узких частных применениях. Ими занимаются десятки лет- результаты лишь частные и очень ограниченные в рамках одной задачи применения. Мы построили свою сеть за чуть более полугода и технически она обладает всеми достоинствами сужествующих нейронных сетей. Не считаю себя каким-то особенно одаренным, но стоит задуматься какое из направлений более верное то, которым занимаются с 60-х годов и где кроме тонн писанины нет почти ничего стоящего или то, что сделано за полгода и уже работает лучше?
С прогой идут файлы с пояснениями как и чего. Поскольку хелпов нашей стране читать не принято, поясню, тк. всеравно будут спрашивать.
Поиск идет не совсем по ключевым словам. Важен смысл вопрошаемой фразы (при хорошем обучении сети). Т.е. идеально если вы просто опишите то, что вы ищите, как если бы встретили человека с улицы.
Напротив каждого текста в выводе идет его рейтинг. Эта версия уже старая (3 месяца ей), мы щас намного дальше продвинулись. Но смысл таков, что циферки напротив файла показывают схожесть по смыслу текстов в контексте заданного запроса. т.е. в вашем случае
C:\nnutils\any_txt\ANOMAL.txt 63.19
C:\nnutils\any_txt\instrukziya.txt 58.78
C:\nnutils\any_txt\starost_rodom_iz_detstva.txt 58.73
C:\nnutils\any_txt\LIVE_V.txt 57.07
C:\nnutils\any_txt\COLDLOVE.txt 56.85
C:\nnutils\any_txt\EAT.txt 56.39
C:\nnutils\any_txt\BOOK.txt 56.31
C:\nnutils\any_txt\BATTERY.txt 55.27
это еще и похожие тексты по смыслу
Количество слоев и нейронов программа выбирает сама (ноу с хау, это не совсем нейронная сеть в классическом понимании), при задании вопроса эта версия не переобучается. Но если дочитать текстов, то доучится и рейтинги поменяются.
Про самоорганизующиеся карты незнаю, я в этом не шарю. Откровенно говоря, я почитал про нейронные сети в общем, поискал частности и похожести на нашу. Не нашел. Но назвали нейронной сетью, потому, что так вроде по смыслу нужно это назвать было.
В качестве базовой модели мы не используем ни одну из общеизвестных нейронных сетей. Текст никак не анализируется перед обучением (есть лишь небольшое ноу хау). Мы напрямую загоняем его в сеть и получаем набор образов в многомерном пространстве (с большой натяжкой можно так назвать) Из каждого образа может быть сделано восстановление букв, слов, даже предложений или связок из нескольких предложений.
Дык нужно ее обучить же было.... если спросить ребенка о чем-то, то он тоже ничего не скажет.
Я у себя на сайте сделал для регистрирующихся выполнение арифметических операций - итог только ручной спам раз-два в год. Это уже легко удалить модераторам, зато пользователям никаких неудобств.
