Pfound. Топ-топ-топает малыш... и Graded Mean Reciprocal Rank

12 3
Shlackbaum
На сайте с 18.08.2010
Offline
322
2480

Ну спросил "А", спрошу и "Б". Тут постараюсь быть покороче

Возьмем продвинуто-стандартное "мышление оптимизатора" - чем "релевантней" и "полезней" страница по определенному запросу, тем выше в SERP она должна быть. (сейчас забудем про ссылки и прочих орков)

Посмотрим на ситуацию со стороны смеси ПС и пользователя:

Пользователю нужно решить посредством поиска какую-либо задачу. Для этого ему ПС-ой предоставляется 10 результатов-ссылок, по адресу которых предполагается якобы наиболее полезная для юзверя выдача.

Вопрос заключается в следующем: если проблема юзверя не элементарная, а, скажем так, многоаспектная, то для ПС выгодней не ранжировать конкретный сайт выше или ниже, а ранжировать группу сайтов в том порядке, который в совокупности вероятнее всего решит проблему юзверя.

Для понятности поясню свою терминологию, что элементарная проблема - это доминантная цель запроса "сбербанк бутово", который целью имеет сообщение элементарной единицы информации - "показать на карте в бутово отделы сбербанка".

В свою очередь запрос "рецепты фаршированной рыбы" - многоаспектный и в нем сложно выделить "правильный" результат, т.к. сам вопрос очень неоднозначный и субъективный в принципе. Возможно неидеальный вариант подбора многоаспектного запроса - но думаю кто захотел понять - понял.

Так вот я анализирую именно второй вариант запроса.

Если один сайт не может удовлетворить 100% представителей группы пользователей на, а только, скажем 40%.

Другой сайт может удовлетворить пользователей 30% пользователя, третий 50% и так далее.

В принципе логично предположить, что страница(или сайт), которые могут удовлетворить пользователя на бОльшее количество процентов, должны стоять выше, но что если это не клеится с самим алгоритмом?

Что, если ранжирование сайтов в обратном порядке - 30-40-50 в общей сложности дает бОльшую совокупную удовлетворяемость, чем ранжирование в порядке 50-40-30?

Например, если в определенном сайте (скажем с 30%) есть вводный материал, который помогает внедряться в тему и который не так изобилует терминами, как 50%-ый хоть он и освещает бОльшее количество аспектов, нежели 30%-ый? Также допустимы другие варианты такой ситуации, я просто только один упомянул.

Т.е. если рассматривать вопрос удовлетворяемости группы пользователей от выдачи в целом, а не конкретного сайта (что более логично, если ставить во главу угла решение проблемы, а не что-то иное), то получается, что более полезный сайт может оказаться ниже и там оставаться... если результат выдачи в данной конфигурации наиболее эффективен для пользователей в целом...?

Тогда использовать в качестве определяющей характеристики "возврат в выдачу после просмотра страницы/сайта" получается не совсем корректным?

А что думает %username%?

P.S. Напомню:

Graded Mean Reciprocal Rank и Pfound
Данные метрики оценивают удовлетворенность пользователя результатами поиска на основе следующей модели:
- Пользователь просматривает результаты запроса, начиная с первого документа.
- После каждого просмотра документа пользователь принимает случайное решение:
- либо завершить поиск и остаться удовлетворенным — вероятность такого исхода зависит от оценки релевантности документа;
- прервать поиск, оставшись неудовлетворенным (с фиксированной вероятностью);
- продолжить просмотр списка документов.
- Результирующая оценка ответа системы – вероятность того, что пользователь завершит поиск, оставшись удовлетворенным.
Согласно данной модели, степень влияния оценки релевантности документа на метрику зависит не только от позиции документа, но и от оценки релевантности документов, находящихся выше в списке результатов. Например, если для запроса A выдано 9 релевантных документов подряд, то релевантность 10-го документа слабо влияет на оценку запроса (скорее всего пользователь удовлетворится вышестоящими документами). В то же время, если для запроса B выдано 9 нерелевантных документов подряд, то релевантность 10-го документа сильно влияет на оценку запроса.

P.P.S. Не получилось покороче... :)

Пустота. Какого черта здесь появляется чья-то реклама?
R
На сайте с 21.12.2010
Offline
138
#1

Тар угнал аккаунт? Или я не типичный пользователь, но мне хватает при поиске ответа на вопрос или при покупке максимум 2-3 сайтов. По теме: модель за уши притянута, вам не кажется? Тут важнее удовлетворенность топов яндекса прибылью от контекстной рекламы.

Лучший хостинг для MODX Все просто ЛЕТАЕТ! (https://modhost.pro/?msfrom=bd6e3e1124cb4cdd93779563b690f3fe)
Shlackbaum
На сайте с 18.08.2010
Offline
322
#2

RUPak, ну вот они и есть 2-3 сайта, они же могут быть как по возрастающей, так и по убывающей ранжироваться.

R
На сайте с 21.12.2010
Offline
138
#3
Shlackbaum:
RUPak, ну вот они и есть 2-3 сайта, они же могут быть как по возрастающей, так и по убывающей ранжироваться.

Да, причем чаще всего эти сайты это не закоменевшие старики-монстры в топ 1-3. Возникает вопрос: а что они там делают?

Shlackbaum
На сайте с 18.08.2010
Offline
322
#4

RUPak, вот собственно предположение в том, что топ 1-3 находится в топ 1-3 не потому, что они решают проблему. А потому, что их наличие там помогает решить проблему через другие сайты. Т.е. они не являются сами по себе решением проблемы, но без них решение было бы более затруднено, чем с ними. Они являются необходимым, но не достаточным фактором решения проблемы.

Это при условии, что вы заходили на эти сайты, конечно.

Хотя даже это необязательно в отдельно взятых случаях.

dlyanachalas
На сайте с 15.09.2006
Offline
693
#5
Т.е. если рассматривать вопрос удовлетворяемости группы пользователей от выдачи в целом, а не конкретного сайта (что более логично, если ставить во главу угла решение проблемы, а не что-то иное), то получается, что более полезный сайт может оказаться ниже и там оставаться... если пул результатов выдачи наиболее эффективен для пользователей в целом...?

Разумное предположение.

Но оправдывать им яндексоидный рандом я бы не спешил)

R
На сайте с 21.12.2010
Offline
138
#6
Shlackbaum:
RUPak, вот собственно предположение в том, что топ 1-3 находится в топ 1-3 не потому, что они решают проблему. А потому, что их наличие там помогает решить проблему через другие сайты. Т.е. они не являются сами по себе решением проблемы, но без них решение было бы более затруднено, чем без них. Они являются необходимым, но не достаточным фактором решения проблемы.

Это при условии, что вы заходили на эти сайты, конечно.
Хотя даже это необязательно в отдельно взятых случаях.

В описании модели "Пользователь просматривает результаты запроса, начиная с первого документа.", т.е именно эти сайты и должны предоставлять наиболее полный ответ. А получаю по факту следующее: при поиске конкретной модели электротехнических приборов идет сайт завода-изготовителя, который даже не имеет информации о конкретной модели, а только полное описание серии. Причем эти сайты находятся в коммерческой тематике, а на продажу розничных товаров абсолютно не ориентированы.

Присущ
На сайте с 06.01.2011
Offline
929
#7
RUPak:
Тар угнал аккаунт?

Тс просто переобщался с последним, и зажегся идеей додумывать.

---------- Добавлено 04.02.2013 в 23:59 ----------

Shlackbaum, По делу, предпочтение должно быть отдано ресурсам, с более разумными связками во внутренней перелинковке, а как следствие разумными пф связками передвижения пользователей на ресурсе.

Прототипы и юзабилити, чтоб продавал и в топ попал Анализ сложившихся бизнес моделей и поиска точек роста Директ — от 2500 р, включая бюджет на клики / Аудит РК до и после запуска — от 5000 р
Shlackbaum
На сайте с 18.08.2010
Offline
322
#8
Присущ:

Shlackbaum, По делу, предпочтение должно быть отдано ресурсам, с более разумными связками во внутренней перелинковке, а как следствие разумными пф связками передвижения пользователей на ресурсе.

Это предложение верно на 100% только в том случае, если сайт, который анализируется на 100% удовлетворяет по запросу 100% пользователей, что неверно в подавляющем большинстве случаев.

Присущ
На сайте с 06.01.2011
Offline
929
#9
Shlackbaum:
Это предложение верно на 100% только в том случае, если сайт, который анализируется на 100% удовлетворяет по запросу 100% пользователей, что неверно в подавляющем большинстве случаев.

Вы не совсем туда посмотрели, куда я хотел взглянуть. Пс не может определить точно на сколько ответ получен, она может определить только вероятность получения, что определяется картой кликов, а не самими материалами. Тема не за количество кликов ;)

Shlackbaum
На сайте с 18.08.2010
Offline
322
#10
RUPak:
В описании модели "Пользователь просматривает результаты запроса, начиная с первого документа.", т.е именно эти сайты и должны предоставлять наиболее полный ответ.

Это-то да, я согласен... Только вот маленькая деталь - формулировка взята из документа с РОМИП-2010, что во-первых не то же самое, что Яндекс. Во-вторых Матрикснет в 2010 году отучился в своей школе только 1 год. (по крайней мере официально). В свою очередь Крипта была введена примерно в конце 2011 года. А сама концепция перестраивания результатов выдачи на основании данных, скорее всего является следствием именно выкрутасов матрикснета, который по сути сам задает некоторые "описания модели" (как минимум некоторые, как я предполагаю)

Вы же сами говорите, что удовлетворены не первыми результатами. Я иногда вообще на первые результаты даже не кликаю.



---------- Добавлено 04.02.2013 в 23:09 ----------

Присущ:
Вы не совсем туда посмотрели, куда я хотел взглянуть. Пс не может определить точно на сколько ответ получен, она может определить только вероятность получения, что определяется картой кликов, а не самими материалами. Тема не за количество кликов ;)

Присущ, зато она точно может определить вернулся пользователь в поиск в той же сессии или нет) И вне той же сессии тоже.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий