И снова "нечеткие дубликаты"

И так, решил разобраться с «нечеткими дублями» и отношением Яндекса к ним. После изучения некоторых статей в голове все перемешалось и теперь вот пытаюсь все расставить по полочкам.

Получилось следующее. Все ниже написанное сугубо личное видение проблемы.

Существует два вида дубликатов: «нечеткие дубликаты» и «полные дубликаты».

«Нечеткие дубликаты» зависят от сниппета, т.е. фактически от запроса. Происходит это следующим образом.

- пользователь задает запрос

- Яндекс достает из кэша или вычисляет налету релевантность сайтов запросу и ранжирует сайты, но пока не показывает пользователю

- сравнивает сниппеты на предмет определения дубликатов (возможно сниппеты сравниваются методом шинглов, но вроде это очень ресурсоемко)

- выдает отфильтрованную выдачу, удаляя некоторые дубликаты (по какому принципу оставляются те или иные документы – неясно; может быть выбирается самый релевантный документ, и вместе с ним в выдачу попадают наименее похожие на него документы)

То что фильтр такого типа существует, косвенно доказывают слова Сегаловича (не могу их найти) и то, что выдача с различными настройками поиска (конкретно, количество отображаемых фрагментов со словами запроса) различная. При настройках «отображать не более 5 фрагментов» в выдаче больше сайтов, чем при настройках «отображать не более 1 фрагмента». Попробуйте запрос «Во & второй & главе & реферата & посвящена & практике & маркетинговой & деятельность & организации & на & примере & сервер & дукса» - в первом случае в выдаче 27 сайтов, во втором – 21 сайт. Все здесь логично – при отображении одного пассажа в сниппете, сниппеты более похожи, чем когда отображается 5 пассажей в сниппете.

Теперь разберемся с «полными дубликатами». Мне кажется, такие дубликаты определяются в момент индексации страницы. Метод определения дубликатов - «метод описательных слов» - http://company.yandex.ru/articles/article7.html (русский вариант http://webmastera.org/files/File/secur/FindClonDoc.pdf) комментарии Сегаловича - /ru/forum/56951

Страницы, выявленные как полные дубликаты – выкидываются из базы. Часто такое происходит со страницами одного сайта (например, каталог товаров, когда значимой информации гораздо меньше, чем слов в навигационной части). По какому принципу Яндекс выкидывает те или иные дубликаты – неизвестно, я думаю, по совокупности признаков как то: временные факторы, «рейтинг ресурса», доверие к ресурсу и проч.

_________________________

Собственно, какое мнение у вас?