Ну мы тоже с 1996 года применяем свою модель "лексической связности",
но это не важно, а важно то, что к семантике "отношений между словами" это не относится. Это скорее "семантика текста" - то есть восстановление смысла текста без, возможно, понимания отдельных слов и даже фрагментов.
Собственно, я немного в курсе Ваших изысканий и знаком с тем, как в текстах определяются наиболее значимые ключевые слова в УИС РОССИЯ.
Простейщий, но далеко не единственный, пример лексических цепочек - повторение слова в тексте. А вот с более сложными примерами цепочек - большие проблемы. ВЫ какие имеете в виду?
Те же, что и Вы - цепочки, которые формируются из синонимов и связанных по смыслу термов.
Понятно, что проблемы возникают потому, что тексты по своей семантической структуре слишком неоднородны и часто состоят из слабо связанных или вовсе несвязанных фрагментов. Но, насколько я понимаю, Вам все же удалось собрать кое-какие тематические узлы с помощью тезауруса для социологических и политических текстов.
Значит, что-то все же работает? :)
А что такое, все-таки "семантика" в Вашем понимании?
Может Вы сможете кратенько описать?
Ах, кратенько... :)
Это нечто вроде глобальной Матрицы, включающей каждый существующий в мире объект (макроконцепция в Вашей формуловке) и описывающей близость каждого объекта каждому в пределах общего для них контекста.
Разные люди понимают под этим совершенно разные вещи.
Кроме того, одно время оно было весьма модным
(стало "понятным" массам) и, используя это слово,
раздавались БОЛЬШИЕ обещания, которые кончились пшиком.
В общем, я не знаю "работающие модели семантического поиска".
Слишком много слов, которые в результате набора статистики не будут упомянуты. Много ручной работы.
Ken, у Вас явно неправильный набор текстов. Возьмите содержимое lib.ru, оно покроет 95% всех общеупотребительных словоформ ;)
Для остальных форм можно использовать статистику по количеству страниц для каждой такой подозрительной формы в яндексе (для русского) и google (для английского). Для поиска конкретной словоформы ставьте перед ней знак !, например,
Вот например, глагол ИСКАТЬ - у меня сгенерировалась форма прич. наст. "ищомый" по всем правилам - естественно никакой прогон не выявит, что это ошибка. А вот сравнение с другим солварем - сразу покажет что такой формы нет.
И для этого нужен другой словарь? Почему нельзя прогнать программу на тех же текстах и посчитать статистику использования каждой словоформы? Неверные формы отпадут сами собой.
Очень многообещающий топик - но, на мой взгляд, не высказано ни одной ЦЕЛИ, которую необходимо достичь в системе НОВОГО ПОКОЛЕНИЯ
Хорошо, представим себе гипотетическую поисковую машину, релевантность которой определяется не расстановкой ключевых слов в текстах или разностью позиций этих слов, а объектами, содержащимися в этих текстах. Например, понятие 'поисковая система' может быть названо как угодно, к примеру, поисковая машина, искалка или поисковик, однако смысл его от этого ведь нисколько не изменится.
Подобная интеллектуальная поисковая система будет работать только с понятиями, непрерывно соединяя лексические цепочки, рассчитывая расстояния между различными объектами, классифицируя новые понятия, собирая кластеры и т.д.
Подобную систему невозможно будет проспамить или обмануть, так как она работает на семантическом, более высоком уровне абстракции и легко распознает все исскуственные попытки продвинуть вверх документы "не по теме".
Теперь вопрос. Как сделать подобную машину в условиях open-source при отсутствии базы (словарей, наработок и т.д.) и, что самое главное, не опираясь на алгоритмы современных полнотекстовых поисковых систем?
Базовые алгоритмы и теория поиска ведь уже не изменится, не так ли?
Короче говоря, предложить что-то действительно новое в области информационного поиска может только человек, который спроектировал и уже успешно запустил полнотекстовую поисковую машину и обладающий соответствующим опытом. Новички-энтузиасты могут только повторить достижения уже существующих систем.
но это не важно, а важно то, что к семантике "отношений между словами" это не относится. Это скорее "семантика текста" - то есть восстановление смысла текста без, возможно, понимания отдельных слов и даже фрагментов.
Собственно, я немного в курсе Ваших изысканий и знаком с тем, как в текстах определяются наиболее значимые ключевые слова в УИС РОССИЯ.
Те же, что и Вы - цепочки, которые формируются из синонимов и связанных по смыслу термов.
Понятно, что проблемы возникают потому, что тексты по своей семантической структуре слишком неоднородны и часто состоят из слабо связанных или вовсе несвязанных фрагментов. Но, насколько я понимаю, Вам все же удалось собрать кое-какие тематические узлы с помощью тезауруса для социологических и политических текстов.
Значит, что-то все же работает? :)
Может Вы сможете кратенько описать?
Ах, кратенько... :)
Это нечто вроде глобальной Матрицы, включающей каждый существующий в мире объект (макроконцепция в Вашей формуловке) и описывающей близость каждого объекта каждому в пределах общего для них контекста.
Хоть и немного с опозданием, но присоединяюсь!
С днем рождения, Светлана!
Два раза перечитал топик, но так и не понял, каким боком он стыкуется с поисковыми технологиями. Переношу в раздел "Вопросы для новичков".
Да вроде как уже все давным-давно обсудили.
Вовсе не обязательно. Если в руках есть изменяющийся хороший набор текстов, вполне возможно периодически устраивать подобную чистку и автоматически.
Разные люди понимают под этим совершенно разные вещи.
Кроме того, одно время оно было весьма модным
(стало "понятным" массам) и, используя это слово,
раздавались БОЛЬШИЕ обещания, которые кончились пшиком.
В общем, я не знаю "работающие модели семантического поиска".
Знаем, знаем, как все тут любят семантику :)
Судя по западной прессе, это лексические цепочки - они теоретически позволяют описать семантические отношения между словами.
Ken, у Вас явно неправильный набор текстов. Возьмите содержимое lib.ru, оно покроет 95% всех общеупотребительных словоформ ;)
Для остальных форм можно использовать статистику по количеству страниц для каждой такой подозрительной формы в яндексе (для русского) и google (для английского). Для поиска конкретной словоформы ставьте перед ней знак !, например,
!ищомый.
И для этого нужен другой словарь? Почему нельзя прогнать программу на тех же текстах и посчитать статистику использования каждой словоформы? Неверные формы отпадут сами собой.
Хорошо, представим себе гипотетическую поисковую машину, релевантность которой определяется не расстановкой ключевых слов в текстах или разностью позиций этих слов, а объектами, содержащимися в этих текстах. Например, понятие 'поисковая система' может быть названо как угодно, к примеру, поисковая машина, искалка или поисковик, однако смысл его от этого ведь нисколько не изменится.
Подобная интеллектуальная поисковая система будет работать только с понятиями, непрерывно соединяя лексические цепочки, рассчитывая расстояния между различными объектами, классифицируя новые понятия, собирая кластеры и т.д.
Подобную систему невозможно будет проспамить или обмануть, так как она работает на семантическом, более высоком уровне абстракции и легко распознает все исскуственные попытки продвинуть вверх документы "не по теме".
Теперь вопрос. Как сделать подобную машину в условиях open-source при отсутствии базы (словарей, наработок и т.д.) и, что самое главное, не опираясь на алгоритмы современных полнотекстовых поисковых систем?
Базовые алгоритмы и теория поиска ведь уже не изменится, не так ли?
Короче говоря, предложить что-то действительно новое в области информационного поиска может только человек, который спроектировал и уже успешно запустил полнотекстовую поисковую машину и обладающий соответствующим опытом. Новички-энтузиасты могут только повторить достижения уже существующих систем.
Я таки выпадаю из общего ритма - к сожалению, в пятницу в отъезде. :(
Если что, звоните сразу Cherny.