Качество поиска.

Методика Н. Харина-И.Ашманова для оценки релевантности

Огромное спасибо!

Есть ли методики, которые можно было бы автоматизировать?

Нет, насколько я понимаю, все реальные методики требуют участия человека.

Автоматически определяется только формальная релевантность, когда все слова запроса присутствуют в документе, а вот отнести документ к релевантным или нерелевантным может только человек.

Реальная релевантность действительно может быть определена

только человеком, т.к. это субъективный параметр.

Я имел в виду некий параметр с помошью которого можно было бы

числено оценить качество примененного алгоритма ранжирования.

Причем, что бы это параметр можно было бы подсчитать автоматически

какими-нибудь стасистическими методами. И возможно не совсем

корректно сформулировал вопрос. Скорее всего необходимо было спросить

примерно таким образом:

Установлена ли какая-нибудь зависимость между параметрами, которые

можно подсчитать автоматически, и качеством поиска (или в терминах

статьи техничесскую еффективность поисковой машины )?

Думаю, такая формулировка будет более правильной.

Это очень сложная и обширная тема, для начала можно почитать:

http://meta.math.spbu.ru/~igor/papers/exp-survey/exp-survey.html

Методика Ашманова-Харина частный случай, другой частный случай romip.narod.ru

Существуют ли организации (сайты и прочее), которые занимаються оценкой еффектиности поисковых машин?