Размноженный контент. Чем проверить % уникальности?

ок. всем спасибо за ответы. скачал Шингл Эксперт. и появился еще один вопрос:

при сравнении текстов, какую длину шингла выставлять? по умолчанию в программе стоит "5"

5 норм.

желательно, не больше 6 ;)

Статьи работают больше полугода, прекрасно индексируются. Кому уж очень интересно, могу скинуть пару ссылок на эти статьи.

1 шингл = 10 слов. Ну вообще не только кол-во слов в шингле имеет значение. Перебор происходит внахлест. Алгоритм хэширования CRC32, MD5, SHA1, значения выбираются из наборов случайно.

Возможно вы скажите, что 10 слов для шингла это много. Вполне достаточно, конечно если текст соответствующей длины. Для текста в ~2000 символов, отбрасывая предлоги, запятые и т.д. найдется порядка 300 слов, если длина одного слова около 6 символов. 300 слов при 10 словном шингле - это 291 шинглов. При полном сравнении без случайной выборки (например всех шинглов, контрольные суммы которых делятся на 25 без остатка), сравнивая контрольные суммы шинглов обоих текстов результаты можно получить довольно точные.

Наверняка утверждать подходящую длину шингла для определенного количества символов нельзя. Вообще имеется предположение, что проверку шинглами поисковики осуществляют только в крайних случаях, т.к. это слишком ресурсоемкий алгоритм. Первоначально проверка происходит более грубым алгоритмом "супершинглами" или его модификацией "мегашинглами", и в случае подозрения уже происходит более тщательная проверка.

Skaizer добавил 04.06.2009 в 12:02

Почему так считаете?

Skaizer добавил 04.06.2009 в 12:03

"Синонимизацию" нужно выполнять вручную, тогда бреда не получится.

Попробуйте Praide

Насколько мне известно, Praide это не то. Нужно не в инете дубли искать, а сравнивать между собой тексты.