Как яндекс находит плагиат. И как бороться со склейкой.

Большая часть материала взята из рассуждений и может не совпадать с действительностью. Часть взята из статей Яндекса.

Если вы считаете, что написаные мной факты и заключения неправильны, то прошу высказаться.

Документов в интернете много. Думаю в рунете минимум один милиард страниц. Чтобы сверить между собой милиард каждую с каждой нужен 1.000.000.000.000.000.000 операций сравнивания страниц. Даже если в сравнивании страниц учавствует только одно число, то чтобы найти его в базе 1.000.000.000 конктрольных сумм нужно 30000 (корень из одного милиардк) операций сравнивания. Можно ускорить благодаря разбивки на 1024 баз данных. В 32 раза.

Итого нам понадобиться 1.000.000.000.000.000.000.000 операций сравнивания двух чисел. Учитывая что кроме операции сравнивания там еще переборы по циклам, запросы на другие кластеры, то одна машина может считать до 1000.000 операций (максимальное значение) сравнивания двух чисел в секунду.

1.000.000.000.000.000 секундо машин нужно. В году 315.360.000 секунд. Три машины эту работу сделают за один милион лет :-). Чтобы в обозимом будушем(в течении 10ти лет) решить эту задачу нужно 100.000 машин.

ВЫВОД: ЕСЛИ ДВА САЙТА НИКАК не связаны между собой Яндекс не склеит.

Значит Яндекс ищет связи сайтов. Если вы обмениваетесь статьями, то ставьте СВОЮ статью на СВОЕМ сайте в ноиндекс. Т.е. бот не должен находить на двух перелинкованых в одну или две стороны сайтах одну и туже статью, даже с очень большими с изменениями. Поскольку залинкованные сайты проверяються очень тщательно.

Если яндекс нашел 3,4,5..10 копию документа, то он начнет усердние искать еще копии.

В общем Яндекс не тупо перебирает каждый с каждым.

--------------------------------

Исходя из вышесказанного и статей Яндекса можно судить, о том, что существуют несколько уровней сравнения и строгости проверки.

Нахождение сайтов

Лексический анализ. Глобальный метод. Беруться самые малораспространенные слова и обороты из Статьи заносяться и ищаться либо по бекам сайта либо по сайтам на который он ссылаеться. В самом плохом случае по всему инету.

Метод ссылочных связей. Наприме, если статья несет ссылку на сайт то проверяться материалы сайта на который в статье есть ссылка.

Проверки:

В зависимости от типа найденой взаимосвязи между документами два текста сверяються. Разными методами.

Выборка шинглов. Строгий метод. Используеться когда большие подозрения на дубли.

Шингл - контрольная сумма взахлест 10ти слов. Количество шинглов = количеству слов -9.

Например: Шинглы для

"В зависимости от типа найденой взаимосвязи между документами два текста сверяються. Разными методами."

Есть 3 шингла

1."В зависимости от типа найденой взаимосвязи между документами два текста сверяються.

2."зависимости от типа найденой взаимосвязи между документами два текста сверяються. Разными"

3."от типа найденой взаимосвязи между документами два текста сверяються. Разными методами"

Из этих шинглов выбираються несколько десятков шинглов выборки, которые сверяються.

По словам яши это делаеться так: Из статей понятно, что на каждый документ находятиться выборка из 85 шинглов. Как она находиться:

S1...Si - шинглы

F1...F85 случайные функции расчета контрольных сумм выборок. Функции постоянные, но сгенерированы на шару. Т.е. для двух документов функции одинаковые.

V1...V85 - шинглы выборки

----------------

V1= MIN(F1(S1), ... F1(Si))

...............................

V85 = MIN(F85(S1), ... F85(Si)).

---------------------------

Метод сравнения сравнить все 85 шинглов выборки первого документа между соответсвующими шинглами второго документа. Максимум 85 операций.

Чтобы скеились документы ориентировочно нужно одинаковых 35 шинглов.

Супер шингл. Мягкий метод. Если тексты изменены на 10-15 % он их не найдет. Из всех шинглов расчитываеться один единственный шингл. (по другим данным несколько).

Если два супер шингла совпали, то скорее всего не склеят а проверят документ более тщательно. Алгоритм его выбора неизвестен. Скорее всего опираеться на лексические конструкции и на глобальные их частотные данные.

_________________________________________________________

Как избежать?

Замена слова на другое меняет 19 шинглов. Вероятность изменения одного из шинглов выборки = n*19/N, вероятность изменения двух n*19/N* (n-1)*19/N …

В среднем меняется n*19/N+ 2* n*19/N* (n-1)*19/N … шинглов

Обмен местами двух рядом стоящих шинглов меняет 20 шинглов.

Обмен местами на расстоянии больше 10ти слов стоящих слов меняет 19+19 =38 шинглов.

Обмен местами на расстоянии <10ти >0 слов стоящих слов меняет 20 + расстояние *2.

Обмен местами предложений > 10 слов или абзацев, если они удут рядом меняет 40 шинглов.

Обмен местами предложений > 10 слов или абзацев, если они удут рядом меняет 80 шинглов.

Добавление нового слова меняет 20 шинглов.

Добавление M подряд идущих слов меняет 20+M шинглов.

Видно что эфективнее всего добавлять много раз в разных местах по одному слову. Или менять рядом стоящие предложения местами.

Всего в тексте Шинглов на 9 меньше чем слов. Для супер шинглов, нужно поменять 20%шинглов. Но, возможно супер шингл учитывает только глаголы и существительные.

Если супер шингл считаеться по лексическому глобального методу, то в текст можно вставить в качестве примеров название Экзотических стран и городов, редкие ошибки, фамилии, речевые обороты и изменять это в каждом тексте.

Т.е. после прочтения статьи человеку кроме ее смысла запомниться что то необычное в ней, может, Супершингл запоминает что то в ней.

-------------------------------------------------

Если нашел и склеил статьи как это может сказаться на тИЦ и вИЦ. Это беспорно уменьшает эти показатели, но я думаю 2 склеяные статьи с сылками лучше чем одна статья. Ведь если вы пишете хорошие статьи и ваши статьи берут много сайтов почему бы не поставить вам побольше индексы?

Это доказывают новостные сайты и сайты видущие активный PR киевстар, МТС. У которых неплохие показатели тИЦ.

---------------------------------------------------