Вопрос к Ашманову по поводу методики

И тут есть тонкости. Мертвые ссылки нельзя однозначно толковать как "минус" Апорту, нужно смотреть на запрос. С помощью "реконструкции текста", как правило, можно получить достаточную информацию. Только если запрос был по поиску информации, которая без графики не обойдется, либо подразумевающий сайт в целом (а не один релевантный документ), только в этих случаях Апорту нужно засчитать "минус".

<font face="Verdana" size="2">Раз пошла такая пьянка, вот моя
упрощенная процедура:

Берем N запросов. Примерно одной тематики. Например геология или математика (можно перевести Гиля на русский )</font>

Если не повторить затем исследование в десятке других областей, обязательно пойдут нарекания в необъективности. Поиск специальных терминов в области геологии, которые встречаются редко в обыденной речи, может существенно отличаться от поиска, например, музыкальной информации, где запрос "Ногу свело" означает не желание найти медицинскую помощь, а удовлетворенность состоянием "уши свело". Аналогично, поиск информации о математике и химии, где активно используются специальные символы, которые веб-мастера могут просто перевести в графику, будет отличаться от исследования геологической тематики, где почти всю информацию можно выразить словесно.

Тоже спорно с точки зрения точности оценки релевантности, но имеет однозначный плюс в смысле справедливости и равноправности условий для поисковиков.

Мне кажется, что методика получислась чересчур упрощенной, но я согласен, что для первой попытки, возможно, более сложная и не нужна.

С уважением, Александр Садовский.

[This message has been edited by funsad (edited 18-12-2000).]

Насчёт методики - я в общем, не спорю, делайте, как проще. Только нужно всё-таки сказать, что такая упрощённая процедура просто ничего не покажет.

Во-первых, нет условий оценки релевантности.

А одни и те же запросы давать разным людям не получится, дорого по ресурсам.

Во-вторых, дохлые линки и прочие вещи к релевантности не имеют отношения.

Тестирование других свойств поисковой машины нужно и проводить по-другому. Тогда нужно оценивать и "свежесть" ссылок, и полноту (объём), и пересечение с базой других поисковиков и Интернетом в целом, всё это будет ещё более трудно описать и формализовать.

В-третьих, в предлагаемой методике выброшен учёт ранга сайта в результатах, вес запросов и прочее.

В четвёртых, простой подход ничего не говорит об аккумулировании тестов.

Ну и так далее.

То есть, конечно, можно взять методику попроще, понятнее простому читателю форума и так далее, но какова будет ценность результатов - я не знаю. Предложенную "сложную" методику хоть оспорить и верифицировать можно, а предложение Ильи даже нечем оспорить - не за что уцепиться. Ну да, можно так сделать. А можно обматывать экран шнурками и считать число оборотов, считать количество кликов до первой полезной цитаты, и тысячью других простых способов получить какие-то данные, ну и что? Что они будут показывать?

Там ведь появятся проценты типа 0,7 или 0,9, и невежды начнут их понимать именно как проценты, а не как относительные величины. Потом при смене количества линков, состава тестирующих, ещё чего-то проценты резко съедут вверх или вниз, поскольку устойчивость и поведение функции никто не исследовал, и профаны начнут это трактовать пошлыми способами - мол, поисковики ухудшились, улучшились.

Ту методику, что я прислал, мы использовали и используем внутри Рамблера, для себя, даже не для начальства и инвесторов. Если бы можно было сэкономить время, ресурсы и деньги на упрощённой методике, мы бы это сделали обязательно.

Впрочем, это не совсем моё дело, я не хочу ничего навязывать. Методика действительно трудоёмкая.

Игорь Ашманов.

Игорь.

С методикой Харина, какой бы она ни была аккуратной и продуманной, наблюдается страное несоотвествие.

С одной сторной она претендует на научность и оперирует такими понятиям, как полнота и точность. В ней, например, призывают игнорировать "мертвые" ссылки и переходить к следующему доукменту. Или даны подробные рекомендации что нужно делать, когда не найдено 100 документов.

С другой стороны предметом исследования предлагается брать Интернет. Грязный и разный. С поисковым "спамом" (привет модераторам ), с миллионом сопутствующих вещей, сопровождающих выдачу любой искалки. Как по Вашей методике, например, оценивать новостную секцию в выдаче яндекса? А ведь она завтра будет другой. Следовательно Ваши оценки в принципе невозбновимы. Или скажем выдачу из каталога, которую Вы, по Вашему же признанию, примешиваете в поиск. А ведь каталог Top100 - это каталог самоввода, то есть по своей сути нестабильный источник. Кстати, как изменится Ваша выдача, если Вы слегка поменяете пропорции "смеси"? Какая тут методика сможет помочь?

Запросы тоже предлагается брать из Интернета - то есть самые заспамленные, самые общие. Кроме всего прочего, к ним не приписаны никакие "критерии релевантности", то есть решение релевантен документ или нет следует принимать самостоятельно. В этом случае велика вероятность вкусовщины.

Если играть по предложенным правилам, надо брать фиксированную коллекцию документов (например, сделать русский TREC) и на ней упражняться. Это действительно отличная методика для заточки алгоритмов ранжирования, основанных на анализе текста страницы. Точка.

Очевидно, что искалки использующие "внетекстовые" критерии, снабжающие свою выдачу черт знает чем, по этой методике оценивать - странная идея.

То, что я предлагаю - это конечно весьма упрощенная вещь, что-то вроде тотализатора, но я и не стесняюсь назвать это "игрушкой", забавой для журналистов. Но к такой сложной многокомпонентной вещи как выдача поисковой системы по другому и подходить, наверное, нельзя. Только укрупненно и упрощенно.

В ней есть 4 важных, простых и понятных вещи, отличающих ее от Вашей

1. учет числа мертвых ссылок

2. учет числа дубликатов. Документ показанный дважды убивает Ваше время. И с этой точки зрения он абсолютно нерелевентен. Да это не соответвует классической IR (как же так, наказывают за "релевантный" документ!) - но я как раз предлагаю отречься от классической IR, которая в чистом виде к интернету не применима. (Весь этот форум - по сути предыдущий тезис в развернутом виде)

3. нейтрализация вкусовщины за счет "содержательных" запросов и отделения процесса поиска от процесса оценки

4. нейтрализация перекосов из-за выбора для анализа "самых популярных" запросов. Еще раз призываю Вас обратить внимание на распределение запросов по частоте. Выбор только самых частых запросов - Ваша серьезная методологическая ошибка.

Во всем остальном методика Харина мне очень нравится. И даже веса (5,4,3,2,1) кажутся вполне разумными.

С уважением,

Илья

Секунду, Илья, я немного не понял, при чем здесь конкретный форум? Хотите ли вы сказать, что этот форум - спам в чистом виде или вы имели в виду, что этот форум суть дублирование информации?

Не могу принять ни первый, ни второй вариант. Информация на форуме аналогов, вроде, не имеет, по крайней мере, я в Рунете аналогичной не встречал. Спам?!!! Является ли спамом периодическое обсуждение на форуме одних и тех же понятий?

В целом предложенное Вами упрощение, мне кажется, имеет смысл. Остается "мелочь" - определить список запросов. Будут ли это популярные запросы или уникальные, редкие запросы? Я пока для себя не определился.

Мне кажется, Илья сказал только о том, что "классическая IR в чистом виде к интернету не применима" и "форум, по сути, данный тезис в развернутом виде".

По поводу форума.

Классичский IR основан на анализе текста документов. "Естественных" документов, а не созданных специально с целью пробраться в первые ряды поисковой выдачи. Понятно, что если в романе Война и Мир "Болконского" заменить на "Путина", никакой, даже семантический анализ не спасет искалку от желания хоршо отранжировать дакой документ по запросу "Путин". Слегка утрирую, конечно. Ну и так далее. 1000 и один сравнительно честный способ спама, которым посвящены другие разделы этого форума, в принципе в классическом IR никогда не рассматривались.

По поводу запросов.

Они должы быть в основном из средней части частотного распределения, как я уже писал. Они должны быть по возможности "однозначными", "понятными", никаких глупостей типа "руки вверх", конечно, быть не должно, и, конечно, "критерий релевантности" должен быть явно задокументирован.

Некторое количество частотных запросов, все-таки взять надо. Но опять же желательно с однозначными "критериями релквантности".

Можно даже подобрать пропорции правильно и даже, может быть, давать частотным запросам повышенный вес.

Но "просто" брать top50 как тут предлагается - это бред.

Илья

А не подскажите, где именно взять эти запросы, плиз!

Заранее благодарен.

На списке топиков в этом разделе в самом верху имеется ссылка "Тестирование поисковиков на релевантность". Щелкни.