Будущее IR-систем

Да у нас было трое детей и таскать их с собой было непросто. Мы были в Коктебеле пару часов, купили сердоликов с яшмой и поехали обратно.

Интересно кого?

Конечно, есть задачи, где действительно так, но до этого был разговор про поиск, а для него эти технологии не очень применимы, по крайней мере в обозримом будущем.

Мое мнение в свете первого вопроса в данной теме - сетевые ИПС будут плавно улучшать свои характеристики (с маркетинговыми "прорывами"), а поиск фактов, прямых ответов и т.п. если и будет встречаться - то только в узких специализированных областях. Например, некоторые искалки научаться (и уже умеют) "понимать" запросы по поиску товаров и персонам. Но вряд-ли вскоре будут выдавать один сайт с нужным текстом по запросу "лучший реферат по философии для кандидатской" :).

Позвольте, и я немного пооппонирую Игорю.

Я не буду детально обсуждать каждый аргумент, просто приведу несколько важных, и возможно не до конца воспринимаемых аудиторией обстоятельств, ставших более-менее очевидными в последние несколько лет.

1. Социальная сеть, а не коллекция текстов: природа данных + природа интереса.

Живая, активно и агрессивно пополняемая коллекция под нащзванием ВЕБ, в которой есть все и на любой вкус - единственное по настоящему массовое применение поисковых технологий сегодня. Наличие (относительно? качественного) поиска стимулирует как интерес к этой коллекции так и ее пополнение.

Пополнение устроено так, что анализ текста сам по себе не может справиться с поисковыми задачами. Отсюда и разговоры об относительной исчерпанности традиционных IR подходов 20го века. (я датирую конец двадцатого века концом 1998 года)

Социометрия -- понимаемая не просто как грубый анализ линков а гораздо шире: анализ логов, то есть поведения пользователей, анализ посещаемости сайтов, анализ "заимствования" текстов и их фрагментов -- то есть анализ поведения человеческого сообщества -- есть поставщик наиболее продуктивных факторов в ранжировании и кластеризации поиска в ближайшие годы. Просто потому что тут еще как следует не копали. И копать тут еще - не перекопать!

2. Новизна "истинного" опыта использования поисковых систем.

То опыт который мы сейчас наблюдаем: как действия пользователей, так и вебмастеров - единственный реальный источник материалов для обсуждения использования поисковых систем.

Это реальный, а не воображаемый опыт, каковой изучался в 20-м веке, когда "ПОИСКОВЫХ СИСТЕМ В МАССОВОМ ПОЛЬЗОВАНИИ НЕ СУЩЕСТВОВАЛО".

3. Поисковая система - простой и понятный механизм на службе человека.

На основе этого реального опыта, многие, и я в том числе, делают примерно следующий вывод.

Поисковая машина должна быть "глупа" и проста ровно настолько, чтобы ею было просто и понятно пользоваться. Она не может и не должна заменить интеллект человека. По крайней мере в ближайшие XXX лет. Аналогично тому, как от программы Word мы не требуем (пока?) возможности автогенерации текста по двум трем положенным в его основу мыслям.

Сумма действий поисковой системы и человека должны быть максимальной эффективной. Сумма. А не действия поисковой системы само по себе.

Это вовсе не означает, что ИПС не должны быть интеллектуальны. Там должно быть (и реально уже) зашито очень много интеллекта. На наружу его надо подсовывать очень аккуратно, не разрушая ментальную модель поиска.

Противопоставлять data mining (в котором Игорь делает основной акцент на распознавании артефактов) и поиск не вполне корректно. Это все о разном. Простая токенизаци имеет много своих предпочтений, но при этом многие веб-искалки анализируют "фразы", ну и что? Математики над матрицами в веб-искалках тоде много, но она просто не торчит наружу.

По поводу задач, приведенных Игорем. Многие подобные задачи, думаю, прекрасно решаются (и как я пытался объяснить раньше: во многом быстрее и эфективнее) при помощи "простой" поисковой системы - в рамках кубка по поиску за честные три минуты. Совместными усилиями человека и веб-искалки.

С уважением,

Илья

Журнал Эксперт. Есть такой. Очень пафосный. По-моему ежемесячно вот уже несколько лет. Публикует этот рейтинг.

Ужасный бестолковый наколеночный бред.

Ну, Илья, я и не говорил ничего плохого про обычные искалки, а отвечал на изначальный вопрос про окно фактов - см. первое сообщение. Это вы зачем-то противопоставляете и спорите, а я, в общем не против полнотекстовых искалок, я их сам всю жизнь делал.

А то, что не все такие задачи решаются именно искалками типа Гугля/Я/Р..., да ещё за три минуты, это очевидно.

Как всё-таки составить упомянутый выше отчёт о сравнительной упоминаемости тридцати основных политических фигур в СМИ различных категорий, с временной шкалой?

Это не умозрительная задача - я видел такие отчёты, за них платят реальные деньги, потом над ними медитируют и стараются сделать какие-то выводы для себя. И таких задач много.

Например, поиск новых тем. Не каких-то известных и явно представленных в сети, пусть и запутанных нарочно сведений или ситуаций, как в кубке по поиску, а только что появившихся. Вот, например, SARS. Или ранее не существовавший мифично-эпический Б.Л.Усамов со своей присной Аль Каидой. Или неожиданно выявившаяся, но сразу всем сторонникам прогресса очевидная, полная, 100% подлючесть Саудовской Аравии - следующего кандидата на избиение.

Вот тема появилась, быстро стала актуальной, её нужно бы автоматически детектировать, локализовать, проследить, составить дайжест и так далее. Да, кстати, и угасание темы - тоже факт многозначительный, тоже стоит проанализировать.

Ну как тут Яндекс запустишь - в пакетном режиме по многим запросам? Роботов заметят и не пустят, знаем-знаем.

А результаты как сводить, кто составит дайджест, как получить статистику и распределение упоминаний?

Временная компонента, совместная встречаемость, вложение тем, сложные объекты с многими реализациями в тексте - не обрабатываются искалками.

Да, деятельность актёров Интернет-сцены - вебмастеров и пользователй интересна, оставляет след в логах Яндекса, но это всего лишь один узкий аспект происходящего в реальном мире, за чем можно следить с помощью текстов. Ведь также можно записывать и анализировать те же частоты и объекты по передачам ТВ, радио и тоже делать выводы.

Так что искалки, хоть и занимают большую часть нашей жизни, а в некоторые периоды и 100% мыслей и действий, как у некоторых из нас, всё-таки не решают всех проблем с текстами и извлечением фактов из них.

Ну, а что искалка - это человеко-машинный кентавр, кто ж спорит. Как, впрочем, и телевизор, автомобиль, компьютер, лопата.

Вопрос в том, что кентавры могут быть разных пород. Например, аналитическая искалка с фиксированной или медленно пополняемой коллекцией, сложным анализом, долгими итеративными поисками-навигациями, сохранением результатов и теоретико-множественными операциями над ними вполне находит своего потребителя и далека от веб-искалки.

Вот например, типовая реализация такой ИС, дающая годовой оборот значительно, на порядок больше Яндекса+Рамблера+Апорта - Консультант+ или Гарант.

Ну, возьмём и прикрутим Яндекс к правовой базе данных - и что? Никому не нужно. Простой поиск там давно есть, а нужен совсем иной. Нужен аналитический сервис, который и продаёт Консультант+ (там кстати, на самом деле оборот на два порядка больше всех веб-искалок в той же самой России).

Ну, я же не его имею в виду. За него никто бы денег не заплатил, видимо, потому его и публикуют бесплатно. Хотя кто-то и на него, наверно, ссылается.

А вот за отчёты более "солидные" сейчас начнут башлять просто круглосуточно, с приближением выборов. Даже если для тебя и такие, коммерческие, отчёты будут выглядеть как бред, не значит, что это людям не нужно. А Яндекс ведь этого не заменяет.

В Яндексе нет архива всей периодики, например.

Многим людям нужны агрегированные данные, с этим ничего не поделаешь. Техно-гики в среднем не работают в политологических структурах.

Положа руку на сердце, нужно сказать, что Яндекс таки даёт данные для гиков - сырые данные и притом очень плохо, технически оформленные, неустойчивые, да и не по периодике, а по Интернету. По понятным причинам, с понятными ограничениями, для понятной аудитории, но что с того?

Задачи разные, зачем говорить, что простая искалка их все решает?

iseg:

:) Ну, я имел в виду цитату от AiK в нитке к вопросу об открытии алгоритма яндексации

Во-первых, с момента того поста уж больно много воды утекло.

А во-вторых, Яндекс тогда жил в основном за счёт инвесторов и, полагаю, что Аркадий и под дулом автомата не признался бы, что темпы роста качества поиска будут всегда отсавать от темпов роста объёма информации. Т.е. прикрутили к поиску новую фишку, прошло пол-года -год - и всё преимущество от её введения сошло на нет. И даже SEO мастеров тут можно не приплетать: то, что они портят картину мира поисковикам - капля в море, по сравнению с тем мусором, который ежесекундно появляется на просторах Рунета. Почти без смайлов :).

Неудачный пример. В отличии от интернет, где информации есть и проблема ее найти, в правовых системах основная фишка - наложить туда информацию. Пользователь ищет в основном как в обычных базах данных - по точным атрибутам документа. Поэтому и Гарант и К+ имеют средства поиска максимум найти слова по маске в пределах абзаца. То есть средств аналитической работы в разрезе IR нет вообще.