Ранжирование коммерческих сайтов - как оценивается design quality?

Я: В 2013 году Яндекс опубликовал доклад про коммерческое ранжирование. Там были 4 метрики качества: юзабилити, качество сервиса, доверие, качество дизайна… И самое интересное и не понятное для меня (и для многих) – это качество дизайна. Как оно оценивается? В 2011 году Садовский и Николаев озвучивали, что на это завязаны новые оценки асессоров, соответственно это как-то все должно учитываться на уровне машинного обучения. Какие-то должны быть вещи, хотя бы в общих чертах, про дизайн…

Антон: Смотрите, здесь не надо ориентироваться на то, как это описано в инструкции асессоров, и вообще, как асессоры с этим работают. У них тоже нет такого, что: «Ребята, сайты красного цвета теперь давайте мы оцениваем как релевантные и значит это хорошо», нет, такого нет. Здесь как раз ответ в том, что это всё используется на уровне машинного обучения. Т.е. какие-то сайты, например начинают… ну мы видим, что очень многие государственные сайты используют синий цвет, например. И они везде это делают, и мы здесь тоже постараемся как-то обучаться и понимать, что вот синий цвет – это вот что-то с этим связанное, значит это скорее всего какой-то вот хороший сайт по отношению к каким-то… Но это не на уровне каких-то там человеческих факторов, или человеческих оценок, это на уровне машинного обучения. Сегодня это может быть такой, завтра другой. И если вы смотрели как раз эту презентацию Садовского, я советую еще раз пересмотреть, там он как раз про такие вещи упоминал, что «ребята мы теперь можем красные {чего-то там} отличать от синего»…

Я: Там Садовский обозначал что «качество дизайна», всё, особо не распространяясь на этот счет. В то время как в докладе обозначено 3 уровня качества дизайна: плохо, хорошо, отлично… О чём это? Цвет как-то сомнительно…

Антон: Нет, цвет – это я сказал для понимания. Это самая яркая характеристика…

Я: Можно я вопрос закончу…

Антон: Ну здесь я вам подробные факторы не открою :)

Я: Не обязательно как «факторы». Допустим про доверие было, упоминается в докладе: наличие онлайн консультанта, […], наличие службы доставки… А вот с дизайном что?

Антон: Достаточно сложная тема… Скользкая… Дизайнов очень много, очень много различных сайтов, поэтому, я вам скажу сейчас что-нибудь одно, все это услышат и завтра я увижу в Нижнем Новгороде все сайты… там не знаю… сделанные по особой такой тематике… Поэтому здесь такого нет… Она постоянно меняется. Нельзя выделить что-то одно в дизайне, чтобы я вам сейчас сказал и вот на это ребят смотрите. Нет такого. Оно постоянно меняется. Завтра у нас машинное обучение поймет, что вот это уже не важно, а вот это более важно.

Я: Машинное обучение – оно же на асессорские оценки завязано. Правильно?

Антон: Не только…

Я: Ему на вход подается документ-запрос-оценка…

Антон: И на оценках и на факторах которые так рассчитываются…

Я: Соответственно асессор поставил коммерческую оценку «дизайн хороший», или «дизайн отличный»…

Антон: Такого нет. У асессоров нет таких оценок, что вот этот сайт «дизайн отличный».

Я: Ну там 3 «уровня» оценок…

Антон: Там нет «дизайна отлично»

Я: Как нету, когда есть :) Я же не поленился (показываю распечатанную выдержку из доклада «Quality-biased Ranking for Queries with Commercial Intent»).

Антон: Ну я вам говорю: сейчас нет.

Я: Сейчас нету?

Антон: Такого нету. Чтобы для каждого сайта оценивалось, какой здесь хороший/плохой дизайн – такого нет.

Я: Для сайта, который асессору попал…

Антон: Ну я и говорю, конкретный сайт попал асессору, и чтобы асессор оценивал хороший, плохой, или не очень дизайн – такого нет.

Я: А остальное? Там качество сервиса, юзабилити… Эти остались оценки?

Антон: Вы не в правильную сторону смотрите. Вы ориентируетесь на такие, очень маленькие вещи, которые на самом деле не сильно-то влияют на ранжирование вашего сайта. Это важно, важно уделять этому внимание, важно смотреть как пользователи будут с этим работать, но вот именно работать на то, чтобы поисковая система это как-то учла – здесь не надо. Главная оценка у асессора, когда он выполняет свою инструкцию – это ответить, релевантный этот ответ, или нет. Сейчас в Москве, если вбить какой-нибудь запрос «морозильники атлант», мы можем найти сайт, который сделан чуть ли не на народе. Вы же знаете какой у него дизайн.

Я: Так Садовский про тоже и говорил, что есть куча Rel+ документов и надо вводить новые метрики коммерческие, качества сайта. А как раз таки качество сайта – это 4 вот этих самых группы (прим: доверие, дизайн, юзабилити, сервис). А вы сейчас говорите, что этого нет. Это как?

Антон: Ну я вам говорю, что это не так важно. Я же вам сказал, что ну это как бы… этого как бы нету… считайте что этого нету… Потому что какие там тонкости есть у асессоров – это не важно. Есть вот общие вещи, релевантный, или не релевантный.

Я: Ну если 100 релевантных Rel+ документов, вы же должны будете их отранжировать и в топ-10 поставить 10 из 100.

Антон: И это не делается из оценки асессора отличный, хороший, или плохой дизайн. Я вам 100% могу так сказать.

IBakalov:
Есть у кого мысли на этот счет?

Ну я вам говорю, что это не так важно. Я же вам сказал, что ну это как бы… этого как бы нету… считайте что этого нету… Потому что какие там тонкости есть у асессоров – это не важно

Есть у кого мысли на этот счет? Действительно ли им сейчас пофиг на дизайн, или по ушам ездит?

Скорее всего, изменение позиций Вашего сайта в поиске связано с тем, что мы постоянно корректируем наши алгоритмы ранжирования с целью предоставить пользователям наиболее полную и точную информацию по их запросам. Применяемый в Яндексе метод машинного обучения Матрикснет (
http://company.yandex.ru/technologies/matrixnet/

) дает возможность использовать множество различных факторов и их комбинаций, учитываемых при определении релевантности. Кроме этого, другие сайты в сети наполняются новым контентом, который может быть воспринят алгоритмами более релевантным по какому-либо запросу, поэтому позиции ресурсов в результатах поиска Яндекса могут повышаться или снижаться.

качество сервиса, юзабилити

на самом деле не сильно-то влияют на ранжирование вашего сайта

IBakalov:

Есть у кого мысли на этот счет? Действительно ли им сейчас пофиг на дизайн, или по ушам ездит?

Алексей Питерский:
ну косвенно есть. Также есть асессоры с оценкой.

Антон: Такого нет. У асессоров нет таких оценок, что вот этот сайт «дизайн отличный».

Я: Ну там 3 «уровня» оценок…

Антон: Там нет «дизайна отлично»

Я: Как нету, когда есть Я же не поленился (показываю распечатанную выдержку из доклада «Quality-biased Ranking for Queries with Commercial Intent»).

Антон: Ну я вам говорю: сейчас нет.

IBakalov:
Дык в том-то и соль, что он говорит, что нет таких оценок у асессоров: