Ссылочное ранжирование (снова)

Вот задался таким вопросом (уже давно не новым :)) как ссылки ааВВ и ааССDD будут влиять на ссылочное по запросу слова аа, или наоборот, как ссылки аа и bb будут влиять при двусловном запросе aabb.

Как можно упростить отыскание релевантных запросу текстов ссылок для поисковой системы? Может быть, очень упрощенно и обобщенно, схема выглядит так.

Для каждой оцениваемой страницы ПС скидывает все тексты ее бэков в один документ, при чем каждый текст бэка считается отдельным предложением. Затем по этому документу проходит уже знакомый в общих чертах алгоритм, который при задании запроса ПС вытаскивает из ее индекса страницы с подходящим контентом и определяет релевантность текста страницы запросу.

То есть, определяется кворум, запрос как-то переколдовывается, определяются все возможные пассажи, вес которых превышает вес кворума, коэффициент мягкости(все эти параметры естественно отличаются для зоны ссылок) и происходит поиск пассажей, определенных таким образом, в нашем документе с текстами бэков. Сайт, чей документ с бэками оказывается более релевантным запросу, приобретает для поисковика больший вес с точки зрения ссылочного ранжирования.

Если пойти дальше, то можно предположить, что каждое предложение в документе с бэками (тобишь просто текст ссылки) имеет свой собственный вес, который может зависить от вИЦа донора, от общего количества ссылок с донора, от вИЦа реципиента, от расположения ссылки на странице донора, от уникальности текста ссылки и прочего. Можно даже предположить, что тексты ссылок имеют определенный вес, подобный весам слов(эти веса явно отборажаются при переколдовке запроса) и вес текста ссылок расчитывается заранее, не зависимо от запроса, может быть, по аналогии с тем, как расчитывается вес слова.

И все эти параметры ссылок учитываются, при расчете релевантности документа с бэками запросу. То есть, если слова запроса встречаются в каких-то предложениях нашего документа(читай - встречаются в текстах ссылок), то наибольшее значение для поисковика будут иметь те предложения документа со словами запроса, вес которых больше(функционал этого веса зависит от подчеркнутых выше факторов).

Таким образом (если все написанное выше не бред :)), можно более ли менее предствавить как поисковик оценивает соответствие текстов ссылок запросу и почему, и как влияют на ссылочное тексты ссылок, которые содержат только часть слов запроса.

В этой связи интересно как поисковик переколдовывает запрос для поиска в документе с бэками.

По поводу мягкости... Наткнулся недавно на интересную статью Артема Попова http://www.ulc.ru/dataport, в которой в частности описываются интересные законы частотности слов языка. Оказывается, что коэффициент мягкости, обычно использующийся Яндексом, совпадает с некоторым коэффициентом Зипфа (для каждого языка этот коэффициент различен, для русского языка он примерно равен 0,06-0,07, для английского 0,01). Коэффициент считается по формуле С=(Частота вхождения слова*Ранг частоты/Число слов). Этот коэффициент постоянен для все текстов, принадлежащих одному и тому же языку. Как видно из формулы наибольшее влияние на коэффициент оказывает "частота вхождения слова". То есть коэффициент больше для определенного языка, если в тексте принадлежащем этому языку часто встречаются одни и те же слова(иначе, можно сказать, что набор слов языка ограничен).

Сравнивая формулу с тем, что говорит сам Яндекс про коэффициент мягкости (http://help.yandex.ru/search/?id=481939#), можно уловить некоторые закономерности.

То есть, когда мы увеличиваем мягкость => понижается необходимый вес кворума (формула веса кворума известна из статьи Сегаловича Маслова РОМИП 2004), следовательно в увеличивается количество пассажей, которые будет искать ПС в тексте. Из формулы видим, что коэффициент Зипфа увеличивается, когда увеличивается частота слов. То есть, когда мы повышаем мягкость в запросе, Яндекс понижает вес кворума, на пальцах это можно пояснить тем, что поисковик как бы считает, что слова в нашем языке встречаются чаще, и чтобы увеличить такой критерий, как полнота, он увеличивает число искомых пассажей. Если нужно увеличить точность поисковика, то мягкость уменьшается => вес кворума увеличивается => число пассажей уменьшается (по Зипфу это значит что частота слов языка маленькая, поэтому в текста очень много разных слов, а нужные слова встречаются редко.)

Итак, если принять что яндексойды взяли за формулу мягкости формулу Зипфа, можно оценить мягкость для ссылок.