Странные результаты от Яндекс-Директа и о релевантности "от посетителя"

Спасибо, Антон, за замечательный отзыв!

Давайте попробуем разобрать "спор" Яндекс-Нейрон по предложенным тобой параметрам.

1. Релевантность.

По методике Ашманова-Харина, она определяется как "полнота-точность" при этом Игорь пишет: "Нужно заметить, что релевантность относится к смыслу документа и к смыслу запроса (не всегда очевидному), поэтому релевантность - вещь субъективная и зависит от мнения пользователя о соответствии документа запросу". Там же: "полнота есть отношение количества найденных релевантных документов к полному количеству релевантных документов в базе данных".

Во-первых, минимум, 75% от всех запросов - неочевидные, нечеткие, допускающие различные толкования о том, что же надо пользователю. Это уже видно из частот употребления одно- и двухсловных запросов, а реально однозначно толкуемые запросы - единичные случаи. Поэтому от субъективизма мы не уйдем, даже прикрывшись объективным термином.

Релевантность по предложенной методике - это мера статистической оценки поисковой машины - каковы средние данные по предложенной Н. Хариным выборке запросов. Вопрос о "релевантности" в применении к одному поисковому запросу попросту неприменим: если машина в ответ на запрос "электронная почта" выдаст только ссылки на сайты с бесплатными ящиками, все пользователи сочтут все ссылки релевантными с соответствующим 100%-ным выводом, но ответ будет заведомо "куцый". Об этой проблеме писал В. Поляков, подчеркивая, что главный недостаток сегодняшних поисковых машин - неумение группировать однотипные ответы и выявлять ответы на возможные разные смыслы запроса.

Он утверждает, что его интеллектуальная поисковая машина это сумеет сделать автоматически. Я утверждаю, что с технологией, предлагаемой в Нейроне, данная задача будет решена методом "самоорганизации", и как рынок сегодня "шлифует" товары, точно так же с развитием проекта будет отшлифовано информационное предложение по большинству поисковых запросов, а по наиболее частотным - по всем.

Во-вторых, полнота выбора однотипных документов пользователям абсолютно не важна, если исчерпывающий ответ есть в первом документе - дубликаты уже без надобности. Это прекрасно иллюстрируется и статистикой переходов по первым ссылкам и жесткой борьбой вебмастеров за места в топе.

Поэтому по критерию "релевантность" поисковый робот выиграет в количестве предлагаемых вариантов в ответ на немногие возможные смыслы понимания запроса. Коллективный ответ вебмастеров-экспертов выиграет, как это ни странно звучит - в объективности ответа и полноте понимания запроса.

2. Актуальность.

Опять термин без границ применимости. Пройтись по зарегистрированным адресам роботом и удалить автоматически Error404 большой сложности не представляет и будет сделано (если доживу, конечно, до победы «нейронного труда»).

Если же понимать слово «актуальность» в смысле «своевременность, значимость в данный момент», то мы снова возвращаемся к проблемам «соответствия документа запросу». Запрос «новости» и ответ «лента ру» - актуальная пара. И год назад она была актуальной. Это очень частотный запрос и для таких типов запросов нет проблем сделать вечно актуальную ссылку, которая будет работать до тех пор, пока актуален сам сайт. Наоборот – не надо беспокоиться о постоянном переиндексировании.

А вот с запросами «на злобу дня», типа «последний герой новости», действительно, проблемы – они слишком быстро возникают и так же быстро сходят на нет, поэтому регистрить их, особенно сегодня, смысла нет. Поэтому здесь результаты сравнения технологий будут тоже предсказуемы: по запросам, формулировки которых не привязаны к текущей дате или событию, Нейрон (сообщество вебмастеров-рекламистов-экспертов) будет отвечать гораздо полнее. По сиюминутным запросам – вообще не будет отвечать.

3. Объективность.

Ты, Антон, привел очень интересный и правильный пример. Запрос «вино», ответ «Энциклопедия вин», на сайте одна статья о трех бокалах с призывом их купить со скидкой. И дал название этой технике. В моем описании возможных примеров спама системы - http://neiron.sema.ru/index.sema?a=articles&pid=1&id=10 - нет этого критерия. Сейчас сделаю, спасибо.

А для борьбы с необъективностью и другими спам-техниками у Нейрона возможностей не меньше, чем в Яндексе. Причем Яндексу это приходится делать за собственный счет, а в механизме самоочистки Нейрона бюджет таких мероприятий перекладывается на самого спамера. Принцип крайне простой: за гостевые ссылки система не отвечает, а за каждый авторизованный – ответственность как личная (эксперта), так и коллективная (рекламного агентства).

4. Достоверность.

Совершенно верно, Антон! Именно этики и репутации. Более того, я считаю, что рекламные агентства будут очень серьезно относиться к тому, чтобы к их «знакам качества», гарантирующим точный ответ на поставленный в поисковой системе вопрос у поисковика претензий не было.

Вы представьте, что начнет твориться на рекламном рынке, если сейчас заменить схему трех каталожных ссылок Яндекса, или хотя бы то место, где никак не раскрутится Директ, на схему Нейрона. Завтра на каждом б-м серьезном сайте будут «висеть» по два эксперта-рекламиста, обдумывая, как лучше, точнее, эффективнее, привлекательнее подать свои ответы и анализировать сотни реальных, даже низкочастотных запросов на предмет их «тайных смыслов».

Тогда от понятия «релевантности» мы просто перейдем к другой постановке вопроса, а - что ДОЛЖНО ВЫДАВАТЬСЯ в ответ на тот или иной запрос? Это типичный ответ не поисковой, а уже экспертной системы.

Убедил?.. :0)

P.S. Кстати, вот еще одна маленькая шутка и техника рекламы сайта. Запрос – греевский. http://217.23.136.49/queryres.asp?text_qry=%E3%E5%EC%EE%F0%F0%EE%E9&auto_sel=on Как там с полнотой смысла, основные проблемы выявлены? А ведь все ссылки – на разные страницы одного и того же сайта. 10 минут работы заняло, запрос – тоже довольно частотный, заболевание, говорят, распространенное.

Originally posted by andre:

P.S. Кстати, вот еще одна маленькая шутка и техника рекламы сайта. Запрос – греевский. http://217.23.136.49/queryres.asp?text_qry=%E3%E5%EC%EE%F0%F0%EE%E9&auto_sel=on Как там с полнотой смысла, основные проблемы выявлены? А ведь все ссылки – на разные страницы одного и того же сайта. 10 минут работы заняло, запрос – тоже довольно частотный, заболевание, говорят, распространенное.

Здесь тоже есть свой шедевр, надо уже фильтр "только для взрослых" ставить, супруга моя - чуть в обморок не упала. Это же на до: "Как выглядит геморрой - фотографии" =)

Наглядность - сила! Простота - доходчивее!