wolf: Это частный случай. Миныч же под тошнотой имел ввиду более широкое понятие, а именно - нормировку tf*idf (В той же BM25, например). Сегодня она нормируется по самому частотному термину, завтра - по длине документа. Где-то у ХРНС этот момент оговаривался
Я вообще-то о том, что в формуле релевантности нет знаменателя. А что там имел в виду ХренРедькиНеСлаще - десятое дело.
Про википедию, хорошо сказано, но я изучал эти функции, когда в НИИ работал.
wolf: Не совсем. Метрики могут быть разные. Например, упоминаемая в "Яндекс на РОМИП'2009" метрика pfound отнюдь не минимизирует невязки (о чем говорите Вы), а максимизирует вероятность нахождения релевантного результата при последовательном просмотре юзером выдачи сверху вниз. Всё таки несколько разные вещи.
pfound зависит от pRel, а там написано, что:
Значениями pRel в нашей модели являются оценки
релевантности по запросу
dlyanachalas добавил 31.10.2009 в 19:02
wolf: "Тошнота" может быть составной частью одного (или нескольких) факторов. Вы упоминаемые в статье факторы повнимательней изучите. Например, "группу факторов на основе формулы Okapi_BM25".
Зачем так делать, если можно все эти параметры объединить универсальной формулой (о чем и идет речь в докладе).
Да, и что Вы, собственно, подразумеваете под "тошнотой"? :)
Количество вхождений самого частотного термина в документ.
Wolf, и ещё - получается, раз у них там полином, значит никакой тошноты или длины документа в знаменателе нет.
А это значит, что она не всегда влияет отрицательно, но в связке с другими параметрами, может давать и положительный вклад (прямой вывод из формы формулы релевантности).
Slavomir: Ну, не такой уж он и случайный и, уж, тем более, не поиска максимума.
Именно что случайный. И именно для поиска максимума ))
Скорее это аппроксимирующий поиск локально-оптимального решения.
Нет там ничего аппроксимирующего, это вообще из другой оперы. А "локально-оптимальное решение" - это и есть поиск максимума. Т.к. алгоритм не гарантирует поиск глобального максимума и пишут "локально-оптимальное".
Эффективность генетического алгоритма зависит от качества модели, качества мутирующих функций и качества оценочных функций для отбора "особей" для генерации следующего поколения.
Модель у нас известна - поиск коэффициентов полинома, зависящего от 300 параметров, таких, чтобы выбранные левой пяткой ассесоров сайты были в топе, а остальные - в опе.
dlyanachalas добавил 31.10.2009 в 18:44
wolf: Именно для таких размерностей его и используют. Потому что всё остальное просто не работает. А этот худо-бедно, но фурычит
Лучше бы упростили полином и искали максимум методом градиентного спуска. Но не мне указывать яндексоидам, естественно..
vxc: Возможно ли схолотать бан/пессимизацию/фильтр за ссылки с говнокаталогов? Пройдет ли он со временем? Какие есть способы точно определить есть ли бан/пессимизация/фильтр?
Бан - невозможно. Пессимизация/фильтр - очень даже возможно. Если подхватите, само не пройдет.
Доказательства: значительный процент анализируемых сайтов под фильтром с каталожными бэками
wolf: dlyanachalas, может, алгоритмы были не той системы? ;)
Wolf, так пробовали вы сами, или нет? Тут все свои)
"Генетический алгоритм" звучит невероятно круто. Но по сути своей это модифицированный алгоритм случайного поиска максимума. О какой производительности тут можно говорить, тем более, при таких размерностях.
sperans: Спасибо за Ваше мнение. К сожалению, я несовершенна. И особенно не гарантирую мою идеальность в ситуации, когда мне плохо. Я написала "простите" - я действительно просила прощения. А смайл - ну да, меня учили улыбаться, когда разговариваешь с людьми, учили шутить, даже когда зубы болят. И да, я по-прежнему под обезболивающими, так что простите ещё раз.
Предлагаю вверху ЯДа писать статус, как в Яндекс.Блогах: "У нас болят зубы! Сегодня деньги не выводите!" 🙄
anti-virus.ucoz.com - под фильтром
all-antivirusy.ru - фильтра нет
Да банально же всё. Сейчас такой же сайт в очереди.
Разворачиваем картинку на 180 в горизонтали, вуаля, уник. Никаких потерь.
Почему-то напомнило:
— На 180, безмозглый пожиратель спагетти, на 180.
(с) Последний киногерой.
----
P.S. не сработает.
Это частный случай. Миныч же под тошнотой имел ввиду более широкое понятие, а именно - нормировку tf*idf (В той же BM25, например). Сегодня она нормируется по самому частотному термину, завтра - по длине документа. Где-то у ХРНС этот момент оговаривался
Я вообще-то о том, что в формуле релевантности нет знаменателя. А что там имел в виду ХренРедькиНеСлаще - десятое дело.
Про википедию, хорошо сказано, но я изучал эти функции, когда в НИИ работал.
Удачи в исследованиях)
Не совсем. Метрики могут быть разные. Например, упоминаемая в "Яндекс на РОМИП'2009" метрика pfound отнюдь не минимизирует невязки (о чем говорите Вы), а максимизирует вероятность нахождения релевантного результата при последовательном просмотре юзером выдачи сверху вниз. Всё таки несколько разные вещи.
pfound зависит от pRel, а там написано, что:
релевантности по запросу
dlyanachalas добавил 31.10.2009 в 19:02
"Тошнота" может быть составной частью одного (или нескольких) факторов. Вы упоминаемые в статье факторы повнимательней изучите. Например, "группу факторов на основе формулы Okapi_BM25".
Зачем так делать, если можно все эти параметры объединить универсальной формулой (о чем и идет речь в докладе).
Количество вхождений самого частотного термина в документ.
Wolf, и ещё - получается, раз у них там полином, значит никакой тошноты или длины документа в знаменателе нет.
А это значит, что она не всегда влияет отрицательно, но в связке с другими параметрами, может давать и положительный вклад (прямой вывод из формы формулы релевантности).
Ну, не такой уж он и случайный и, уж, тем более, не поиска максимума.
Именно что случайный. И именно для поиска максимума ))
Нет там ничего аппроксимирующего, это вообще из другой оперы. А "локально-оптимальное решение" - это и есть поиск максимума. Т.к. алгоритм не гарантирует поиск глобального максимума и пишут "локально-оптимальное".
Модель у нас известна - поиск коэффициентов полинома, зависящего от 300 параметров, таких, чтобы выбранные левой пяткой ассесоров сайты были в топе, а остальные - в опе.
dlyanachalas добавил 31.10.2009 в 18:44
Именно для таких размерностей его и используют. Потому что всё остальное просто не работает. А этот худо-бедно, но фурычит
Лучше бы упростили полином и искали максимум методом градиентного спуска. Но не мне указывать яндексоидам, естественно..
Возможно ли схолотать бан/пессимизацию/фильтр за ссылки с говнокаталогов? Пройдет ли он со временем? Какие есть способы точно определить есть ли бан/пессимизация/фильтр?
Бан - невозможно. Пессимизация/фильтр - очень даже возможно. Если подхватите, само не пройдет.
Доказательства: значительный процент анализируемых сайтов под фильтром с каталожными бэками
По сути, чтобы распознавальщик глюканул, должно хватить рамки поверх картинки. Процентов на 10-20 от изображения.
dlyanachalas, может, алгоритмы были не той системы? ;)
Wolf, так пробовали вы сами, или нет? Тут все свои)
"Генетический алгоритм" звучит невероятно круто. Но по сути своей это модифицированный алгоритм случайного поиска максимума. О какой производительности тут можно говорить, тем более, при таких размерностях.
Спасибо за Ваше мнение. К сожалению, я несовершенна. И особенно не гарантирую мою идеальность в ситуации, когда мне плохо. Я написала "простите" - я действительно просила прощения. А смайл - ну да, меня учили улыбаться, когда разговариваешь с людьми, учили шутить, даже когда зубы болят. И да, я по-прежнему под обезболивающими, так что простите ещё раз.
Предлагаю вверху ЯДа писать статус, как в Яндекс.Блогах: "У нас болят зубы! Сегодня деньги не выводите!" 🙄