Определение дубликатов

greaffon, если осилите:

Методы определения нечетких дублей (pdf)

Добрый день

Вот Вы господин модератор совершенно напрасно вопрос до конца не дочитали....

Теория шинглов - любопытное, но мне кажется не совсем эффективное решение... Если действительно компоратор поисковой машины выделяет дубли на основе этой незатейливой идеи, то возникает ряд несоответствий. Как же тогда собственно поступать с нечеткими дубликатами, возникающими по сути вещей - например срочные новости или аннонсы чего либо?

За ссылку спасибо

Вы ужи извините, но хотел бы спросить я вот что - какие методы приемлемы для генерации рандомных текстов на естественном языке... Ту методику что использую я не всегда можно назвать эффективной, она в большей степени применима для низкочастотников, а при работе с большим количеством,назовем их гордым словом " уникальных статей" я столкнулся с рядом затруднений. Я использую компоратор, который некий господин анонсирует эквивалентным Я-кому,но в последние апы у меня стойкая увереность что существует несколько другая методика, более совершенная чем работа с шинглами или подбор хешей из вводных словаря....ВОт и хотел спросить у Вас собственно, что Вы знаете о подобном...

Простите, какую часть вопроса, по-вашему, я не дочитал?

Гм... видимо не поняли друг друга... что Вы знаете о системах "ГЕЯ"? Поделитесь опытом, если Вам не трудно... и вообще генерацией текстов в промышленных масштабах занимались? Поделитесь наблюдениями, в обмен на мои... Результаты моих экспериментов меня просто обескураживают, если честно....

greaffon, вам следовало более чётко сформулировать вопросы в самом начале темы. Если вам интересны методы определения дубликатов, которые использует Яндекс, приведённая мной ссылка вполне подходит для начала глубокого изучения вопроса.

Если же речь идёт о генерации тучи текстов, то это не ко мне вопрос, извините.