Плагиат не пройдет! Или что могут современные поисковые технологии.

а как вы определяете что два куска текста одинаковые (простое сравнение, шинглы или что-то еще)?

и как быть с большими объемами информации?

Сравнение по md5 или шинглы отслеживают только если данные практически одинаковы. То есть по md5 например можно отследить только если 100% одинаково.

У нас же собственные технологии поиска документов похожих по содержанию которые запатентованы и ничего общего с шинглами не имеют и поэтому мы отследим даже такое (приведу пример маленького абзаца)

------- оригинал ------------------

Образование международных экономических объединений содействует развитию производственных отношений между этими странами, однако, это создает препятствия для экономических отношений со странами из других группировок, что ведет к концентрации торговых потоков внутри экономических объединений.

--- исправленная копия -----

Развитию производственных отношений между этими странами содействует образование международных экономических объединений. Это создает препятствия для экономических отношений со странами из других группировок, что несомненно ведет к концентрации торговых потоков внутри экономических объединений.

---------------------------------------------

Как видим мы переписали немного, но по сути это все равно плагиат. Так вот в нашей системе на оригинал говорит что похожесть = 100% а во втором случае что 78% -- что говорит о том что реально это всеже плагиат.

При желании можно все посмотреть в действии зарегитрировавшись вот здесь http://www.searchinform.ru/main/full-text-search-products-searchinform-plagiatinform-buy.html

Далее с Вами свяжется менеджер и все покажет и расскажет и если надо предоставит триальную версию для установки у вас.

т.е. по сути получается, что у вас производится морфологический и синтаксический (а возможно и семантический) разбор текста?

а как быть с техническими текстами, которые изобилуют терминами и сокращениями, и иногда в них встречаются формулы?

Leom, я, конечно, извиняюсь, но такую байду легко поднять теми же шинглами, корректируя их размер. Ничего интересного.

Давайте например на $2000 поспорим (сумма то не фантастика) что Вы не сделаете это на шинглах.

Тестировать очень просто берем ряд тестов как с Вашей так и с нашей стороны и прогоняем через обе системы (к примеру по 10-20) тестов.

И по результатам того что и как сработало смотрим.

Слабо? Сумму спора кстати можно и поднять если Вы готовы :)

Leom, я уже года три не программирую. Но если вы не понимаете, что урезав шингл до трех слов, в данном примере будет 60-80% совпадений, то сочувствую.

Я Вам также. Я лично тоже не програмирую уже давно -- для этого у меня хватает программистов.

Если на Ваш взгляд так легко сделать, так давайте

- увеличим сумму спора например до 10К

- вы наймете программиста и он сделает по вашему алгоритму на шинглах

Слабо?

Если уверены на 100% то вы на этом сможете заработать, а если не отвечаете сами за свои слова, то смысла с вами спорить нет

Спорим?

вы лучше на мой вопрос ответьте

Leom, вы малолетний дурачок? По стилю видно, слабо, не слабо. Попробуйте себе в пятую точку бутылку вставить из-под шампанского, слабо?

p.s. ну что за идиоты пошли...

Отвечаю. Сорри не заметил в вопросах одного мудозвона который не отвечает за свои слова (Кузьмин) и в ответ хамит -- Ваш вопрос :)

Морфология да есть. Семантики нет -- мы языконезависимая технология где все что связано с языком монтируемо. В том что касается технических терминов с сокращениями и т.д. проблем нет -- все будет работать замечательно. Ну а формулы и например графики (синусоиды там всякие и т.д.) мы естественно игнорируем.

То есть если документ состоит просто из одних формул без текста, тогда мы не будем работать. Но в реальной жизни всеже даже в очень техническом тексте формул вряд ли будет более 20% -- в этом случае все будет хорошо.