Вес уникального контента

Любая картинка-это последовательность битов. А значит к ней применимы различные логические функции 🚬

А как вы проверяете уникальность контента?

Любую картинку для веба можно, помимо представления в различных форматах и в различных размерах, еще и сжать с разным уровнем компрессии. Вариантов последовательности битов на одно изобрнажение - миллион.

Угу, и если стоит цель определить, две картинки, отличаются ли друг от друга или нет (пусть даже с учетом всех возможных форматов, ужиманий, урезаний и т.д.), то задача в принципе решаемая...

Но вот когда дело касается поиска по "215 096 063 картинкам и фотографиям"... ;)

По картинкам наверное просто - контрольную сумму посчитали и порядок

а вот по тексту все гораздо сложней

Вместо того, чтобы заморачиваться подобными вопросами, лучше напрячь моск над тем, как сделать оригинальный проект, интересный пользователю. Воздастся. ;)

Ну вероятно все сложнее. По крайней мере нужно учитывать что контент на странице может быть не совсем ворованный, тоесть нужно вводить коэффициэнт (точнее, наверное, процент ворованности/уникальности страницы). Кроме того сейчас очень много рерайта, а от качества рерайта много зависит. Тоесть необходимо вводить еще коэффициэнт неуникальности статьи (базовый контент схож, но некоторые слова заменены).

Обращаю внимание, что html код тоже анализируется на идентичность, поэтому при прочих равных условиях и малых объемах текста на страницы, две онные так же могут быть склеены на основании идентичности html кода.

А по поводу картинок - самый простой способ - md5 файла (хэш). Например, я сделал у себя заливку пользователям картинок, но перед сохранением проверяю хэш с хэшами уже залитых картинок. если отличается хоть байт - значит нет такой картинки, если хэши одинаковы - заливать не даю (это конечно не спасает если картинку тупо пересохранить). А ведь не будем забывать что давно существуют алгоритмы проверки схожести изображений (ну это я уж так, в общем..). Так что совсем идентичные картинки определить - это скрипт из двух команд, а уж когда Янженеры будут заниматься сравнением страниц - сложно сказать :)

А вообще интересно на сколько должна отличаться статья от исходника что бы яндекс признал её уникальной?

Кирпичиками статьи являются естественно предложения, интересно хватает ли мощей у Яши проводить сравнение уникальности статей на уровне прдложений или он сравнивает на уровне уникальности абзацев или на уровне уникальности целой статьи?