Как определять уникальность контента ?

Используйте метод шинглов.

Не туда...не правильно...сообщение удалить можно.

Это я все читал... Вопрос в другом: как конкретно делать ? То есть, брать по 10 слов из текста и вбиваить их в Янкдекс ?

Kesha V добавил 01.06.2008 в 21:14

DCFinder я видел. Но он десктопный, а хочется на серваке.

Ещё есть http://copyscape.com/

Наверно, наиболее идеальный вариант.

Закидываете текст себе на сайт и проверяете, если что-то подобное в и-нете уже есть - обязательно найдет.

Там, как я понял, можно только адрес указать, что проверять. Для моей задачи не совсем подходит, потому что статью надо выложить перед тем как проверить на плагиат, а потом убрать.

Kesha V добавил 01.06.2008 в 21:25

Я попробовал "поиграться" с этой системой... Достаточно интересно работает, однако, я так и не нашел ни одного сайта, для которого хотя бы частично не находились дубли :)

А в Яндексе или Гугле эти дубли определялись? :)

А я не знаю как это сделать :) В общем-то это и есть мой первоначальный вопрос: как определить уникальность текста с помощью Яндекса и Гугля :)

Обратитесь к разработчикам программы DCFinder. Возможно, они раскроют вам свой алгоритм определения уникальности контента по яндексу. Кстати, по гуглу программа иногда ошибается...

Ну что касается этой программы, то и та можно сниффером посмотреть, какие она делает запросы и че как. Просто интересно, есть ли описание алгоритма как такового и есть ли уже готовые программные решения, которые можно использовать.