Плагиат и оригинальный контент

hromoy:
Есть у кого-нибудь какие либо предположения или знания относительно того как яндекс различает оригинальные тексты и плагиат? Т.е. есть ли строгое разделение: такая-то страничка оригинальная, а такая-то тыренная (по яндексу)? Или же яндекс как-то различает степень оригинальности? Т.е. может ли яндекс думать: этот текст на 50% уникальный? И еще считает ли яндекс за оригинальный текст, который когда-то действительно появился на данном сайте впервые в рунете, но потом был растиражирован на сотню сайтов. И, кстати говоря, имеет ли какое-то значение то нашелся мой текст на 10 сайтах или на ста?

Происхождение копий документов в Интернете может быть различным. Один и тот же документ на одном и том же сервере может отличаться по техническим причинам: быть представлен в разных кодировках и форматах; может содержать переменные вставки – рекламу или текущую дату.

...

Широкий класс документов в вебе активно копируется и редактируется – ленты новостных агентств, документация и юридические документы, прейскуранты магазинов, ответы на часто задаваемые вопросы и т.д. Популярные типы изменений: корректура, реорганизация, ревизия, реферирование, раскрытие темы и т.д. Наконец, публикации могут быть скопированы с нарушением авторских прав и изменены злонамеренно с целью затруднить их обнаружение.

...

Очевидно, что с полными повторами проблем особых нет, достаточно сохранять в индексе контрольную сумму текста и игнорировать все остальные тексты с такой же контрольной суммой. Однако этот метод не работает для выявления хотя бы чуть-чуть измененных документов.

Для решения этой задачи Udi Manber (Уди Манбер) (автор известной программы приближенного прямого поиска agrep) в 1994 году предложил идею [manber1994], а Andrei Broder (Андрей Бродер) в 1997 [broder] придумал название и довел до ума алгоритм «шинглов» (от слова shingles, «черепички, чешуйки»).