Язык запросов, препроцессинг и анализ выдачи Яндекса.

Публикация производится по согласованию с Wolf-ом, при его участии и является частичным переносом информации из предыдущих обсуждений.

В этом топике предпринята попытка обобщения возможностей анализа, предоставляемых языком запросов и особенностями их переколдовки в Яндексе.

Релевантность

Под релевантностью понимается степень соответствия запроса и найденного результата. Основным методом оценки релевантности является tf*idf–метод. Его смысл заключается в том, что чем больше частота термина в документе (tf) и редкость термина в коллекции (idf), тем выше вес документа по отношению к термину.

Препроцессинг, кворум

В запросе пользователя выявляются синтаксические связи и устанавливаются контекстные ограничения (т.е. растояния между словами). Этот процесс называется препроцессингом запроса или образно переколдовкой. Кроме того производится также фильтрация слов запроса по кворуму, т.е. назначив веса словам запроса и коэффициент полноты учитываемых в поиске слов (мягкость) можно регулировать важность слов по отношению друг к другу, а также учитываемое в поиске количество слов из запроса. Например, стоп-словам часто назначаются нулевые веса, чтобы их не учитывать, а по длинным запросам, в поиске используются не все слова.

Язык запросов Яндекса

Наиболее интересны операторы логического ИЛИ ("|") и неранжирующего И ("<<"), поскольку первый позволяет сравнивать два (несколько) запросов, а второй - фиксировать требуемые страницы, убрав из выдачи мешающие анализу результаты поиска. Из недокументированных возможностей широкоупотребим параметр rd, добавление которого с нулевым значением (&rd=0) в URL результатов поиска позволяет посмотреть также страницы, отфильтрованные по контексту запроса.

В соответствии с языком запросов Яндекса пользователь может самостоятельно назначить веса словам, а также установить растояния между словами. В качестве начального лучше использовать вариант, предлагаемый самим Яндексом, например, "поисковая оптимизация" переколдовывается как (поисковая::17085 & оптимизация::35270)//6. Препроцессинг может вносить в запрос дополнительные слова, например, для запроса "что такое пипелац" переколдовка выглядит как (%(!+что::204 &/(1 1) !+такое::4876) &/(1 1) пипелац::1819103916 &/(1 1) !%это::370 &/(-2 4) %означает::23971 &/(-2 4) %аббревиатура::465115 &/(-2 4) %расшифровывается::253049).

Результат препроцессинга запроса можно посмотреть в серпе, в ссылке на "сохраненную копию" есть параметр "regtext", значение которого и содержит переколдовку. Удобен плагин Коли Дубра, который помещает переколдовку ниже строки статистики "Запросов за месяц ..."

С помощью языка запросов можно искать информацию по определенному сайту, например, (переколдовка << url="forum.searchengines.ru/*").

Вариационный анализ

Запросом (слово1::вес1|слово2::вес2), меняя вес1 и вес2 можно менять релевантность слова1 и слова2 относительно друг друга. Релевантность округляется (в ортодоксальной этимологии "ступеньки Миныча"), поэтому добавив +1 к весу1, слово1 скорее всего не обойдет слово2 в выдаче, а порядок в выдаче собственно и есть отражение релевантности анализируемых документов. Но методом итераций можно подобрать вес1ступенька, при котором подзапрос "слово1" обойдет подзапрос "слово2".

Например, спрашиваем (кондиционеры|попугаи), получаем переколдовку (кондиционеры::6411 | попугаи::188604)//6, ставим в строку запроса (кондиционеры::6411 | попугаи::188604), в топе - "кондиционеры" (страницы прокачанные по "кондиционерам"). Уменьшим вес "кондиционеров": (кондиционеры::1 | попугаи::188604) - "кондиционеры" из серпа исчезают. Релевантность - число, его значение можно повысить или понизить.