Мозговой штурм

Вообще, ИМХО, IR стал таким большим, что это достаточно широкие (глобальные) темы. Нужно брать какие-то их подразделы. И лучше в контексте Интернета. Потому что в Интернете все по-другому. Там есть спам. И вот, кстати, про спам: мне лично очень импонирует тема борьбы с поисковым спамом. Создается ощущение, что на этом фронте все не слава богу. Уж какая-нибудь классификация основных типов атак и типичных методов борьбы с ними не помешала бы.

Вот взять, например, любимый нами Гугель. И новый алгоритм BigDaddy, в котором со спамом борются методом включения-исключения (или по-другому не индексируем вообще то, что считаем спамом). ИМХО, это метод хирургический, потому как ошибка автоматического определения спам-страницы довольно велика. А если страницу посчитали спамом, то ее не по какому запросу найти нельзя. Что не есть правильно.

Я понимаю спам как _массовость_ и _нежелательность_.

Для массовости действительно можно использовать сходство, однако здесь скорее что-то эвристическое надо, а если по сходству - то только имея хорошие данные касательно нежелательности. А нежелательность определяет пользователь и нужна огромная база вручную обработанной информации.

ИМХО спам лучше решать на этапе сложности массовой отправки. Типа придумать какой-то стандарт, требующий подписи, сертификаты или введения кода с картинкой (которые генерит сервер получателя). Хотя это всего лишь мысль.

Я имею в виду: поисковый, а не почтовый спам.

при словах "возникла потребность" [накатать нетленку] возникают неприличные ассоциации [про Гондурас]

(не хотел бы обидеть - просто здесь не "с налета" надо действовать, а много работать - чтобы в результате реально конкурировать с другими)

если серьезно - тема неплохая и нужная (имеется много интересных задач, часть из которых Вы назвали).

Самый важный вопрос здесь - что есть "схожие документы" - формул можно написать много, придумать много "продвинутых" моделей - однако, схожесть придется определять из внешних критериев (например, разметкой).

Поэтому самая большая здесь проблема - получить адекватное (большое) тестовое множество.

Что же всех тянет сразу на Нобелевку-то?

tfidf бывает разный (и даже очень разный). Посмотрите статьи Savoy, например, для CLEF. Да и другие статьи там - все не стоит на месте, но двигается.

Зачем мучаться - читать надо!

Возьмите CFP или программы последних (за пять лет) конференций SIGIR, WWW, TREC, CLEF, HLT и т.п., и спроецируйте на свои нужды.

Там более чем адекватно покрываются задачи нужные сегодня (а может быть и завтра).

Материала и направлений действительно очень много. В институте ничего связанного с IR не учили и толком консультироваться в этой области к сожалению не с кем. А чтобы определится в перспективных направлениях развития нужно знать особенности всех направлений.

Вполне согласен, как только возникает определение схожести - мера следует. Осталось только определиться с задачей и дать под нее определение.

Наверно, можно дополнять строку поиска, введенную пользователем, схожими словами. Cказать что схожесть слов = схожести их определений. Если определением слова считать все документы, содержащие слово, то схожесть слов можно считать равной схожести документов. И получить какой-то замкнутий круг

Пока что тянет хорошо написать магистерскую, что б двигаться дать по пути на Нобелевку :)

10х

Исходя из данного треда планировал как-то очертить и сузить круг информации, которую нужно переварить, а то уж больно много всего разного. Может есть класика по IR, типа Буча по проектированию и Рихтера по Win32?

Пока что под вниманием http://www.dcs.gla.ac.uk/Keith/Preface.html#PREFACE.

не осилил :(

ничем нельзя помочь - ПРИДЕТСЯ читать (если на что-то хотите расчитывать)!

Совершенно согласен с itman - пока постановка задачи слишком широка.

Надо выбрать более узкую - суженные задачи могут сильно отличаться друг от друга алгоритами и методами (аналог из урматов - какой из членов считать малым - разные типы уравнения).

Выбрать надо самому - должно же нравиться чем заниматься.

Как-то все расплывчато и риторично... :(

каков вопрос - такой ответ

А как вам идея системы, которая бы не искала среди других сайтов и давала линки на них, а отвечала на вопросы заданные ей? К примеру вводишь "сколько пять + пять" - она тебе "10"... Это банальный вопрос, но система бы отвечала и и другие вопросы, то есть немного ИИ...