Слово о несовершенстве или ода оптимизатору

Наверное буду не оригинален, но сегодня клиент, женщина, весьма далекая от оптимизации, пожаловалась, что не смогла вчера что-то найти в Яндексе, а потом зашла в Рамблер и нашла сразу же то, что искала. Примеров таких можно найти наверное сотни и тысячи и каждый из нас их может привести. Возможно даже среди них попадутся и обратные случаи. А потому не будем искать крайних, а поговорим о качестве поиска вообще.

На заре становления поисковых систем задача была одна - "Найти!". Качество поиска определялось прежде всего количеством найденых результатов. Неискушенные пользователи просматривали 2, 3, 4 и более страниц выдачи в попытках найти искомое. Сами поисковые запросы максимально упрощались. Индикатором этого была средняя длина запроса, составлявшая в 97 году для Яндекса 1,2 слова. Интернет рос, увеличивалось число документов, совершенствовались поисковые алгоритмы и как следствие - искать стало легче. Люди могли задавать более точные запросы и получать точные ответы. В итоге к 2000 году показатель средней длины запроса увеличился до 2,5 слов. Т.е. более чем в 2 раза за 3 года. За последующие 3 года этот показатель вырос до 2,8. Да, всего лишь жалкие +0,3. Может это оптимум и поисковые системы в общем, и Яндекс в частности, достигли идеала?

На секунду отвлечемся. Возьмем самого обыкновенного вменяемого человека, не отягощенного знаниями о работе поисковых систем, а потому далекому от состояния типичного пациента Кащенко. Попросим его сформулировать любой интересующий его вопрос, при условии, что он хочет получить вполне конкретный удовлетворительный ответ. Внимание, сколько слов потребуется ему, чтобы сформулировать вопрос... одно? Я же говорил _вменяемого_! Два? Сам такой! ... Так сколько? Почему-то мне кажется (перекрещусь на всякий случай), что нормальный вопрос содержит 5-6-7 и более слов. Т.е. в идеале человек должен искать не "куплю автомобиль", а "куплю подержаную BMW 3 серии 2001 года выпуска без пробега по России". И идеальная(!) поисковая система ответит на второй вопрос без затруднений.

К сожалению современные поисковые системы абсолютно несовершенны. Несовершенны прежде всего потому, что в основе их лежит математика и статистика. И за безликими формулами и бездушными цифрами статистики теряется самый обычный человек, пользователь, который имеет вполне конкретный (а не среднестатистический) запрос и хочет получить на него столь же конкретный (а не среднестатистически значимый) ответ. Но в реальности человек упирается в барьер несовершенства поисковых алгоритмов, неспособных найти именно то, то нужно именно ему, и вынужден обходиться среднестатистическим 2,8 слова в запросе, получая среднестиатистически значимую выдачу и осуществляя дальнейший поиск по старинке, перебирая сайт за сайтом.

А потому завершаем лирику и переходим к прозе. Как уже говорилось выше, средний запрос пользователя в реальности может быть гораздо длиннее, чем 2,8. Напомню также, что запросы длиной свыше 3-х слов являются, как правило, низкочастотными. Т.е. те самые пресловутые "естественно-языковые запросы" в подавляющем числе - низкочастотники. И тут, испытывая легкий шок, понимаем, что поисковики очень плохо ищут по низкочастотным, индивидуальным запросам. И не потому, что нет документов, удовлетворяющих таким запросам, а потому, что в основе поисковиков лежит статистика! А в статистике нет места индивидуальности, нет места личности пользователя, как и нет места личности вебмастера, создающего сайт. В итоге рядовой пользователь вынужден упрощать свой запрос, сводя его в 1-2-3 словным. Т.е. тем, которые принято называть высокочастотными. Делать выводы дальше или уже все всё сами поняли? Ладно, буду писать до конца. "Сказал А, надо говорить Б".

Итак, существование высокочастотных запросов есть следствие несовершенства поисковых систем. И сами эти запросы есть несовершенство. Но природа не терпит несовершенства, а потому, в силу вполне естественных причин, существование ВЧ запросов привело к появлению оптимизаторов. Да, да, нас с вами, уважаемые коллеги. Мы существуем для того, чтобы исправлять недостатки поисковых систем. Не буду идеализировать, есть в оптимизаторстве и "черные" стороны (кстати не те о которых вы подумали). Опять же само "оптимизаторство" весьма многолико и многогранно. Но возьмем к примеру дорвеи (привет дяде Гринвуду). Главный враг поисковых систем, как они думают (дорвеи, а не Гринвуд). Совершенно очевидно, что дорвеи ориентированы прежде всего на низкочастотные запросы. Т.е. те, где сами поисковые системы очень плохи. Если создание дорвея не преследовало целью обман посетителя и вполне отвечает его запросу, то он имеет право быть, потому как релевантен! Пользователю проще перейти лишний раз по ссылке с дорвея, чем не найдя в "чистой от спама" выдаче искомого, задавать уже более общий запрос заново и перерывать в поисках нужного несколько страниц. И суровая правда для поисковиков в том, что дорвеи выполняют свою функцию прежде всего потому, что люди находят с их помощью то, что сами поисковики среди обычных документов найти не могут. Опять же повторюсь, это не означает, что все дорвеи "белые и пушистые". Все зависит исключительно от конкретной цели создания. Как говорится и вилкой можно убить. Любую самую безобидную вещь можно использовать не по назначению, в т.ч. и дорвей.

Первый вывод завершили, переходим ко второму. Надеюсь еще не утомил? Итак на секунду предположим, что поисковики вдруг стали идеальными и на каждый(!) запрос пользователя дают совершенно точный ответ. В этой ситуации резко "не у дел" остается колонка справа от выдачи, т.к. нужный результат всегда есть "строго по центру". Рекламодатели остаются неудовлетворенными, а поисковая система остается без доходов. В результате в резкое противоречие вступает вопрос качества поиска и доходов некоей группы лиц (читай акционеров поисковой системы). Т.е. качественный поиск и существование коммерческих поисковых систем - вещи несовместимые. Логичным следствием этого будет отсутствие принципиальных изменений в алгоритмах поисковых систем и стагнация в качестве поиска. А теперь скажите, что принципиально нового появилось в поисковых алгоритмах за последние 2-4 года? Ни-че-го. Все изменения последних лет преследуют одну цель - борьбу с т.н. "поисковым спамом". И ничего кардинально нового не сделано там, где это действительно необходимо - в области низкочастотных запросов. Наоборот, оттуда активно вычищаются дорвеи, которые хоть в какой-то степени способы дать пользователю то, что он ищет. Как следствие - ухудшение реального(!) качества поиска и вытеснение пользователей в область ВЧ запросов. Т.е. говоря несколько грубее, аудитория строго сегментируется по области интересов в области ВЧ. И затем изысканное блюдо "статистики" с красивыми цифрами популярности запросов преподносится рекламодеталям - платите денежки.

Еще раз отвлекаясь на секунду... Новички, пометьте себе как аксиому: "Качество поиска оценивается по низкочастотным запросам".

А в области ВЧ запросов огромные усилия затрачиваются на создание изощренных фильтров против оптимизаторов. Потому как ВЧ создаются поисковыми системами для себя, для развития рекламных сервисов и получения прибыли. А оптимизаторы, паразитируя на этих запросах, ту самую прибыль отнимают.

Нет, разумеется поисковые системы не могут полностью игнорировать работу по повышению качества поиска. Но дабы убить сразу двух зайцев: не улучшать качество основной выдачи и увеличивать прибыль можно пойти по самому простому пути. Рост не качественный, а количественный, т.е. сегментация поиска. Хотите новости - вот новости. Хотите карту - вот карты. Погоду - вот погода. Печально лишь то, все это лежит на поверхности и не нужно большого интеллекта для генерации подобных "идей". Любой из вас, при наличии способности логически мыслить, с определенной степенью вероятности может предсказать появление очередных "сервисов" в поисковых системах.

Подобный путь исключительно эволюционного развития не подразумевает разработки и внедрения новых поисковых технологий. Вся "интеллектуальная" работа направлена в одном направлении - увеличение прибыли.

И наконец подошло время десерта. Как известно, любое соревнование подразумевает преодоление определенных сложностей и квалификацию участников. Чем более трудные задачи ставятся перед участниками и выше их квалификация, тем более престижно соревнование. А теперь кто ответит мне, о чем думают создатели поисковой системы, которые с одной стороны денно и нощно (вроде как) работают над повышением качества поиска в идеале ставя цель отвечать на любой запрос любого пользователя (чем не идеал поисковика?), а с другой стороны организовывают Кубок по Поиску, где задача "Найти релевантный результат" возлагается не на поисковую систему, а на самого пользователя, его знания и опыт! Более красноречиво расписаться в собственном бессилии и несовершенстве просто трудно. И хуже того, популяризация подобного "конкурса" говорит о том, что в перспективе ждать от поисковиков чего-то кардинально нового не стоит. Разве что появление нового участника рынка, использующего принципиально новые подходы в информационном поиске, и предлагающего на порядок лучшее качество поиска способно расшевелить остальных. До этого времени нас ожидает стагнация и мышиная возня.