Сравнительный обзор асессорских инструкций разных поисковых систем

Shlackbaum
На сайте с 18.08.2010
Offline
322
17254

Инструкции асессоров позволяют получить довольно ценную информации – поскольку по сути своей они показывают вектор развития поисковых систем. Зная их можно примерно определить какая страница для какой поисковой системы должна будет ранжироваться выше по конкретному запросу (по мнению самой поисковой системы), т.к скорее всего оценки асессоров играют важнейшую роль в обучении поисковому алгоритма. Таким образом, можно заключить, что оценки асессоров экстраполируются на неоцененные живым человеком страницы для доведения общего качества выдачи до идеальной для наибольшего количества запросов. Вот что понимается разными поисковыми системами под “идеальностью” выдачи можно заключить из инструкций, которые выдаются асессорам.

Откуда дровишки?

Яндекс: Презентация Садовского + Пост на Я.Ру от Дубровского Николая

Google: Слитая недавно инструкция ( от 30 марта 2011г.)

Mail: Презентация от Андрея Калинина - руководителя разработки поиска, Mail.Ru Group на RIW-2011

Оценочное мнение по поводу срока давности инстуркций Яндекса – алоритмы оценки не поменялись.

Начнем с Яндекса:

В общем-то основную суть можно уловить из поста Николая

Дубровского, но часть своих комментариев все – же добавлю в тему.

2. Оценка по шкале релевантности
Шкала релевантности содержит семь оценок: "Витальный", "Полезный", "Релевантный+", "Релевантный-", "Нерелевантный", "Спам", "Не про то"

2.1. Витальный сайт - официальный сайт предприятия, товара, услуги, сервиса или человека. Также витальные страницы есть у законов, официальных документов (в том числе инструкций) и художественных произведений. Далеко не каждый запрос предполагает существование витального сайта, но по некоторым запросам их может быть два и больше. Одним словом, главный критерий витального сайта - официальный ответ на запрос.
2.2. Полезный - ресурс не только отвечает на запрос, но кроме этого дает пользователю дополнительную информацию по его запросу. Также оценку "Полезный" заслуживают тематические сайты, с большим количеством информации по интересующей теме, а еще поддомены витального сайта, сайты филиалов искомой фирмы или факультетов искомого вуза.
2.3. Релевантный+ - документ отвечает на запрос пользователя.
2.4. Релевантный- - документ соответствует теме запроса, но на сам запрос не отвечает. Например, для запроса "карта-схема города Твери" релевантным- будет либо карта не того типа (топографическая или др.), либо карта одного района Твери вместо всего города, либо карта в слишком мелком масштабе.
2.5. Нерелевантный - документ не отвечает запросу.
2.6. Спам - это вредоносные сайты и странцы. Обман пользователя, бессмыслица и мусор
2.7. Не про то - это оценка для документов, которые содержат слова запроса, но смысл запроса в них искажен. Это может происходить из-за омонимии, разрыва словосочетания, пропуска важного слова, поиска других форм слова. Когда по запросу "Лев Толстой" находят Татьяну Толстую или вообще материалы про полных людей - это "не про то".

Здесь хочется отметить несколько пунктов, которые следуют из этих инструкций:

1) При прочих равных выше будет находиться сайт, предоставляющий дополнительную информацию по теме, помимо идеального ответа на вопрос, который переформулирован в запрос к поисковой системе.

2) Официальный сайт может быть менее полезным, чем неофициальный но он все равно по мнению Яндекса должен ранжироваться выше.

3) Для того, чтобы получить Релевантный+, а не Релевантный- необходимо не просто отвечать на вопрос пользователя, но постараться ответить на его вопрос как можно более полно и качественно, учитывая все возможные “желания”, которые вы можете удовлетворить на странице.

P.S. Видимо неточность, т.к. иногда в повествовании наблюдается синонимичная линия между "документом-страницей-сайтом", хотя если документ и страницу можно считать одним и тем же, то сайт и страницу нельзя. Полезной может быть некий сегмент страниц на ресурсе, но сам сайт при этом (в общем) может быть не полезным, а релевантным например.

Далее Google:

Оценки Google выглядят следующим образом:

1) Витальный
(Вообще оценка “Витальный” ставится странице в случае, если:
а) доминирующая интерпретация запроса - навигационная и “точка входа” (т.е. сама анализируемая страница) – является собственно целью навигационного запроса
б) доминирующая интерпретация запроса – объект ( личность, место, ресторан, продукт, компания, организация, и т.д) и “точка входа” является официальной страницей, ассоциируемой с этим объектом.
В обоих случаях должна иметь место доминирующая интерпретация запроса. Если у запроса нету доминирующей интерптетации – ставить витальную оценку нельзя.
Доминирующая интерпретация запроса – это интерпретация, которую имеют в своих мыслях большинство пользователей, которые вводят запрос.
(от себя: под большинством пользователей имеется ввиду реальное большинство, т.е. например 90%. Если вопрос идет о 40% против 60% - то здесь нет доминантной интерпретации)

Стоит отметить, что Google официально уведомляет в инструкции:

1) Большинство витальных страниц очень полезны – однако заметьте, что это не обязательный атрибут (полезность) страницы, чтобы оценить ее как витальную. Некоторые витальные страницы – официальные, но не очень полезны.

1.1) Соответствующий витальный (Если версия оф.страницы совпадает с регионом откуда ее запросили. Здесь имеется ввиду язык страницы)
1.2) Интернациональный витальный (Если витальная страница представляет собой развилку “Выберите язык” или “Выберите свой регион”. Также можно использовать оценку Интернациональный витальный, если версия страницы на Английском и может помочь большому количеству пользователей. Т.е для Российских пользователей набравших ebay – страница получит статус интернациональный витальный. Для запросов из США та же самая страница получит оценку Соответствующий витальный)
1.3) Другой витальный (Если язык или подразумеваемая локация оф. Страницы не совпадает с регионом, откуда ее запросили, В СЛУЧАЕ если существует версия ЛУЧШЕ. Если версии лучше не существует – следует использовать оценку Соответствующий витальный.)


2) Полезный
(Присваивается страницам, которые очень полезны подавляющему большинству пользователей. Они должны быть высокого качества и хорошо подходить под запрос. В дополнение они часто имеют некоторые или все из следующих характеристик: высокая удовлетворяемость цели запроса, авторитетность, увлекательность и/или “свежесть” (например, экстренные новости)


3) Релевантный
(Присваиваются тем страницам, которые будут полезны многим или некоторым пользователям (здесь на в значении “малому” количеству пользователей, а в значении “не очень большому”). Релевантные страницы обладают меньшим количеством характеристик, чем Полезные. Релевантные страницы должны по-прежнему подходить под запрос, но они могут быть менее всеобъемлющими, менее “свежими”, могут находиться на менее авторитетном источнике или раскрывать только одну из возможных поисковых целей запроса (дословный перевод: могут раскрывать только один важный аспект запроса)). Релевантные страницы должны быть полезны для пользователей в дополнение к тому, что должны быть “по теме”. Релевантные страницы не должны быть низкого качества. Релевантные страницы в среднем можно оценить как “Хорошие”.

4) Немного релевантный
Оценка Немного релевантный назначается страницам, которые не очень полезны для большинства пользователей, но кое-как связаны с запросом. Они могут быть низкого качества и/или содержать менее полезную информацию. Немного релевантные страницы могут раскрывать очень незначительную интерпретацию запроса, иметь “просроченную” информацию, быть слишком конкретной или слишком широкой относительно запроса и т.д. , чтобы получить более высокую оценку.

(Здесь имеется ввиду, что на странице написана либо очень узкая интерпретация запроса, т.е. полезная для очень узкого круга пользователей, относительно общего количества запрашивающих запрос; либо слишком широкая в значении “обо всем и ни о чем”, “вода”). Также можно поставить такую оценку, если страница предназначена для моб. Устройств, а оценивается с точки зрения пользователя ПК.

5) Оффтоп или бесполезный
(Для страниц, полезных очень узкому кругу пользователей, пославших запрос поисковой системе или вообще не полезных никому из этого круга. Оффтопик или бесполезные страницы не связаны с запросом и/или не несут в себе пользы)

6) Неоцениваемый
6.1) не грузится
6.2) другой язык
Говорит само за себя:)) Также есть некоторые дополнительные “рюшки” для этого пункта, которые не всегда можно выявить из правил логики, но для данного обзора эти пункты особой роли не играют.

Отмечаю, что в данном обзоре даны лишь выдержки, которые я посчитал наиболее важными. Возможно кто-то посчитает, что я упустил некоторые моменты, которые могут показаться “ключевыми”. В любом случае вы можете ознакомиться с документом сами. Насколько мне известно кто-то полностью перевел гайдлайны и где-то их можно скачать.

*ОКОНЧАНИЕ НИЖЕ*

Пустота. Какого черта здесь появляется чья-то реклама?
Shlackbaum
На сайте с 18.08.2010
Offline
322
#1

Последний Mail.ru:

К сожалению текстовых инструкций у меня нет, есть только информация, сказанная докладчиком на RIW. Собственно слайд самодостаточен, чтобы объяснить смысл оценок (по крайней мере я не помню чего-то такого, что было сказано словами и что нельзя при этом понять из этого слайда.)

Могу только отметить, что Андрей на мой вопрос о причинах разности между инструкциями Яндекса и Гугла (которые очень похожи) и Майла – ему не то, чтобы неизвестно, просто у них “свой алгоритм”. Также он не знал

о том, какие инструкции у асессоров Яндекса и Гугла, а “полезность” для него была синонимом “релевантности” (это мое оценочное мнение, возможно просто моя неверная интерпретация его ответа).

Выводы:

Можно сказать, что за исключением некоторых деталей Яндекс и Гугл имеют один вектор развития своих поисковых алгоритмов. В частности это

касается самой высокой “достижимой” оценки “Полезный”. Несмотря на разные описания оценки, по сути – это одни и те же яйца, но с разных углов обзора.

Касательно разных градаций витальности у Гугла – на мой взгляд это связано исключительно с тем, что Гугл более интернационален.

Больше всех выделился Майл, у которого оценки отличаются по смыслу (по крайней мере на первый взгляд), соответственно и вектор развития его поисковика другой. Ну и на мой взгляд, у Гугла с Яндексом оценки асессоров построены в бОльшем соответсвии с логикой максимального удовлетворения максимально большого количества пользователей

А у вас какие мысли?

богоносец
На сайте с 30.01.2007
Offline
753
#2
Shlackbaum:
Можно сказать, что за исключением некоторых деталей Яндекс и Гугл имеют один вектор развития своих поисковых алгоритмов. В частности это касается самой высокой “достижимой” оценки “Полезный”.

А как формулировки оценок могут говорить об алгоритмах?.. осуществляющих ранжирование. Для Я как бы заявлен формальный критерий ранжирования. А для G?

Shlackbaum
На сайте с 18.08.2010
Offline
322
#3
богоносец:
А как формулировки оценок могут говорить об алгоритмах?.. осуществляющих ранжирование.

Матрикснет.

Я так понимаю: Он развивается сам, как растет ребенок, а асессоры ведут его за руку, чтобы показать направление правильного развития, вносят поправки и говорят, что хорошо и что плохо не на словах (формула), а на деле (реальная оценка). Соответственно, если сравнить асессорские оценки, можно сказать, что выше, по мнению Яндекса и Гугла, должен находиться не релевантный результат, а полезный, который в свою очередь уже релевантный, но обладает доп. характеристиками, вроде доп. информации, авторитетности, свежести и проч. (Это было написано еще в книге Андрея Иванова "Идеальный поиск в Интернете глазами пользователя") Обратите внимание, что у майла - точный ответ (aka релевантность) с полезностью изменены местами. Но если учесть тот факт, что видимо для них релевантность=полезность, то можно сказать, что в интерпретации Майла оценка "полезный" это что-то близкое к "Полезный, но нерелевантный", т.е. инфа интересная, но поиск необходимо продолжать, т.к. ответа на вопрос не полученою.

Разве этот факт не вносит ясности в понимание некоторых "косяков" вроде "неверного" определения "релевантных" страниц?

Поставьте себя на место асессора, у которого нет возможности быстро вникнуть в тему, но есть необходимость оценить страницу "А" с примерной релевантностью 100% но самодостаточную, т.е без ссылок, на новом домене и от непонятного автора и другую статью "Б", которая релевантна на 85%, но которая расположена на крупнейшем портале, написана доктором наук, и которая еще предлагает 10 ссылок в теле и после контента на другие реально интересные целевой аудитории статьи по вопросу. (проценты, естественно, образное выражение) Какую Вы бы страницу отранжировали выше? А если предположить (да наверняка это так), что это обучение экстраполируется на всю выдачу?

Для Я как бы заявлен формальный критерий ранжирования. А для G?

Честно скажу, что иногда пытаюсь вникнуть в формулы ранжирования, но часто не хватает образования видимо:) Поэтому просто стараюсь делать для людей, стараясь играть по известным мне правилам поисковых систем. Не знаю про формальный фактор для G:(

Fruit
На сайте с 15.07.2008
Offline
166
#4

Shlackbaum, исследование ваше?

Shlackbaum
На сайте с 18.08.2010
Offline
322
#5
Fruit:
Shlackbaum, исследование ваше?

Да. Ну не такое уж это и исследование:) Перевел, сравнил, добавил мыслей...

Shlackbaum
На сайте с 18.08.2010
Offline
322
#6
Вот у нас есть несколько сайтов, которые оказывают услуги по продвижению. Как вы думаете, они все одинаковые или разные? Они все разные, несмотря на то, что у всех оценки по запросу [продвижение сайта] релевантные. Что же теперь изменилось? Принцип формирования оценки другой. Асессор выполняет сложную работу не просто по оценке сайта, а оценке бизнеса, стоящего на этом сайте.

Новая оценка формируется от функции старой оценки, доверия, удобства, качества, дизайна и того самого «что-то еще». Что в результате мы получаем? Мы получаем, что для каждого из этих сайтов оценка будет абсолютно разная. Что мы делаем еще? Мы создаем новые факторы: про доверие, про дизайн… Есть еще один фактор, который помогает классифицировать, поднимать качество коммерческих сайтов. Потом мы берем новые оценки асессоров, кладем их в MatrixNet, в MatrixNet появляются новые факторы. Он учится, учится, учится и появляется перманентная формула, которую он пытается ранжировать. Потом попадаются сайты из интернета, и он их ранжирует по какому-то запросу, но теперь ранжирует с моделью сайта, который отличается по оценке доверия, качества и удобства.

Отсюда

Из этого следует, что мое первоначальное предположение:

Оценочное мнение по поводу срока давности инстуркций Яндекса – алоритмы оценки не поменялись.

неверно.

Если сама шкала и могла остаться неизменной - то дополнительные параметры в асессорской админке однозначно появились. Не могут же они синтезироваться из самих оценок по основной шкале

В то время как другое мое предположение:

скорее всего оценки асессоров играют важнейшую роль в обучении поисковому алгоритма. Таким образом, можно заключить, что оценки асессоров экстраполируются на неоцененные живым человеком страницы для доведения общего качества выдачи до идеальной для наибольшего количества запросов

было подтверждено

Goword
На сайте с 21.04.2007
Offline
126
#7

Буквально на днях читал обзор доклада Кирилла Николаева, руководителя группы в отделе веб-поиска компании «Яндекс».

Что же теперь изменилось? Принцип формирования оценки другой. Асессор выполняет сложную работу не просто по оценке сайта, а оценке бизнеса, стоящего на этом сайте

Теперь оценивается доверие, качество услуги, удобство и дизайн сайта, бизнес в целом, а не только содержание страницы.

Jaf4
На сайте с 03.08.2009
Offline
804
#8

Кто-нибудь может этот ppt перевести в нормальный читаемый вид?

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
Shlackbaum
На сайте с 18.08.2010
Offline
322
#9
Goword:
Буквально на днях читал обзор доклада Кирилла Николаева, руководителя группы в отделе веб-поиска компании «Яндекс».
Теперь оценивается доверие, качество услуги, удобство и дизайн сайта, бизнес в целом, а не только содержание страницы.

Хочется отметить, что в докладе сказано о сайтах-представителях бизнеса. Что поднимает вопрос о том поменялись ли метрики только для коммерческих сайтов или же информационным тоже подкорректировали варианты отметок.

Самым логичным кажется решение, когда варианты оценок увеличилсь в обоих случаях, но сами варианты оценок отличаются для коммерческих и некоммерческих сайтов.

Нововведение по новым оценкам - идея замечательная... Но субъективно считаю, что реализация будет сильно хромать.

Jaf4:
Кто-нибудь может этот ppt перевести в нормальный читаемый вид?

Так PowerPoint же...

M
На сайте с 15.01.2011
Offline
66
#10

А мне было очень интересно, в принципе к алгоритмам это имеет прямое отношение, ведь алгоритмы учатся у ассесоров.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий