богоносец

Alepo:
Это базовые вещи, они не должны меняться.

3.2 Оптимизация параметров
Мы поставили перед собой задачу создать программу, оптимизирующую коэффициенты перед слагаемыми в формуле релевантности. Программа основывается на экспертных оценках документов.

Базой для настройки системы послужили материалы прошлогоднего семинара РОМИП: запросы для дорожки поиска по веб-коллекции и документы, выданные системами-участницами на данные запросы. Ориентирами, говорящими, какой документ «хороший», а какой «плохой», стали оценки экспертов РОМИП. Задача программы-оптимизатора – подобрать параметры, которые обеспечивают наилучшие результаты оценки выдачи.

a) принципы, лежащие в основе программы-оптимизатора;

1) Оптимизация делается на основе оценок асессоров;
2) Для оптимизации параметров должна существовать количественная мера оценки документа – то, что говорит, чем один документ лучше другого. Мы применяли модифицированное значение показателя bpref-10.
3) Оптимизация проходила методом модифицированного координатного спуска.

б) проблемы, возникшие в процессе создания;

Оптимизируемая функция обладает следующими свойствами:
1) Функция кусочная;
2) Функция немонотонная;
3) Функция обладает заведомо бОльшим числом параметров, чем используется для ее вычисления.

Исходя из этих свойств, нахождение глобального максимума является заведомо недостижимым. В такой ситуации можно говорить только о достаточно хорошем локальном максимуме.

В этих условиях мы применили два способа оптимизации параметров:
1) Параметры оптимизируются все сразу;
2) Для наиболее значимых с нашей точки зрения параметров задается несколько начальных значений коэффициента. Для каждого значения коэффициента проводится его оптимизация (оптимизируется только этот параметр, остальные неизменны). Из нескольких «оптимизированных» значений параметра выбирается тот, в котором значение функции релевантности максимально. После чего в функцию релевантности добавляются другие параметры и оптимизируются таким же способом.

Оба способа: и 1, и 2 - построены на координатном спуске, различие в том, что в 1 спуск делается по всем параметрам «по кругу», а в 2 каждый параметр оптимизируется до максимального возможного значения функции, потом найденное оптимальное значение параметра записывается как константа и далее проводится оптимизация следующего параметра.