Признаки похожести

Контент страницы один и тот же, поэтому вполне достаточно взять от него хеш-сумму вроде MD5.

Контент - да, но сама страница весьма незначительно меняется.

Отличие в один символ - уже проблема.

Как вариант, брать только от текста (исключая все остальное). Но что-то мне подсказывает, что это не совсем верно...

Шинглы например можно попробовать применить, почитайте тексты на Yandex корпоративном сайте, но это тоже не всегда помогает, ...

Кстати по поводу PROext рейтинга так ко мне от него почему то не приходят письма про регистрацию в рейтинге причем уже давно, ...

Как проверить - это я знаю. Вопрос в другом - что проверить :)

Т.е. каким образом отбирать страницы, которые подлежат проверке.

Если же проверять все подряд - никаких мощностей не хватит :)

Т.е.?

Вы регистрируете ресурсы постоянно, а письма о регистрации не доходят?

Мыло всое в личку бросьте - проверим отлупы.

Не так чтобы постоянно но время от времени разные сайты на разные почтовые адреса, а письма о регистрации не приходят, и в итоге регистрация которая в этом рейтинге жестко привязана к почте вообще не получается. Сейчас попробую зарегистрировать сайт и пришлю все что есть по этому поводу.

Если я правильно понимаю, то метод шинглов позволяет получить одно или несколько хеш значений для каждого документа характеризующих часть документа.

Тогда при добавлении нового документа в индекс, для него вычисляются эти хеш значения, которые ищутся среди хеш значений уже существующих в индексе документов. В результате поиска получается ограниченный набор документов "вероятно похожих" на искомый. Наверно это не сильно ресурсоемкий способ.

На последнем этапе, для каждого документа из полученного списка "вероятно похожих" можно вычислить редакционное расстояние, например методом Левенштейна.

Вообще не обязательно проверять все шинглы (так действительно никаких мощностей не хватит). Но так как распределение контрольных сумм (хешей шинглов) равномерное, то мы можем использовать значения шинглов кратных какому-нибудь числу (10-30). Критерий выборки, в данном случае, получается не привязанным к особенностям текста, так как значения контрольных сумм для разных документов распределены равномерно. И получается что количество сравниваемых шинглов приблизительно равно 1/10-1/30 от общего объема текста (если мерять его в словах). Хотя в принципе думаю Вы это и так прекрасно знаете.

Можно все проверять, на что есть ссылки извне. Если какая-то страница признана дублем - ссылки с нее не рассматривать. Тогда таких страниц будет не так много.

А подробнее можно?

Представьте себе ситуацию, когда рейтинг, раздающий кнопочки, "дает" код, котором ссылка вида .../?id=123

Около 10 тыс. ресурсов данный код поставили.

Согласно вашему совету, "Если какая-то страница признана дублем" - для начала нужно эти страницы "отловить".

не "одно или несколько хеш значений для каждого документа", а набор хеш-значений, который зависит от "величины" страницы.

В большинстве случае величина этого набора - от 200 штук.