Синонимайзеры и закон ципфа.

vitali_y, исходных текстов "сотни миллиардов", а не производных.

А вы умеете генерировать осмысленные тексты?

если взять текст и заменить слова на синонимы, кое где поменять порядок слов и абзатцев, даже можно использовать ->

перемешивание букв:

http://www.cherry-design.spb.ru/news/script.php?id=messletters

транслитерация:

http://www.cherry-design.spb.ru/news/script.php?id=translit

т.о. из исходного текста можно сгенерировать его копию достаточно читаемую и примерно сохраняющую смысл исходника.

ну так яснее задача будет звучать так:

есть текст A и есть набор текстов {A1, ..., An} определить текст Ax из которого был получен автоматически текст A при условии что текст Ax имеет смысл и A сохраняет этот смысл.

алгоритмически задача решается за линейное время относительно n - это, соглашусь, при полной индексации в конечном итоге все-таки потребует значительных ресурсов...

можно подсократить время используя разбиение текстов на классы...

можно подсократить время используя трастовость сайтов...

в общем случае при индексации задача решаема - я не вижу в упор нерешаемой проблеммы.

т.е. по моему в конечном итоге время на скачку страницы будет больше времени затраченного на проверку и на добавление в индекс.

vitali_y, в итоге всё упирается в потребные ресурсы, потому что при увеличении ресурсов, количество "нерешаемых проблем" резко сокращается;-) Если бы на практике всё было так просто, то яндексоиды (да и гуглоиды) всех бы победили.

а они проиграли?

про ресурсы - я ведь не решаю задачу в железе - я говорю, что задача решаема алгоритмически за разумное время. ваших аргументов - оценки времени я не увидел...

они борются.

О чем мы "спорим"-то? Вроде бы никто не сомневался, что теоретически поисковики могут отсекать копии, синонимизированные тексты и т.п. Вопрос почему они этого не делают практически.

У меня есть уверенность, что Ваше знакомство "шапочное".

Хыыы... :D

Т.е. спам побежден окончательно? Кем же? :D

В общем случае задача безусловно не решаема. Более того - при знании текущих антиспамовых алгоритмов грамотному спамеру не составит труда их обойти с помощью значительно меньших ресурсов. Странно, почему такой очевидный факт не доступен Вашему пониманию. :)

Кстати - обратная задача аналогично имеет решение, на любой алгоритм спамера можно написать антиспам. Потому и борьба между ними фактически вечна.

Я понял: G00DMAN это Wolf в молодости :) Просто один в один.

Костя, ты ошибся. :)

Ну и в отличие от Сергея я тут скорее всего проездом. :D

типа подколол :)

ну про окончательно никто и не говорил - есть база для обучение - программу обучил и она будет помечать как спам похожие сообщения.

так никто и не утверждал что решаема автоматически. и вообще, вы сначала сформулируйте задачу, которую вы собираетесь решать - а затем что то утверждайте.

а то похоже тут 90% философы и с точными формулировками и у точняющими вопросами не привыкли иметь дело.

несогласен

согласен

несогласен

:)

Безусловно. Если есть база, т.е. понятен принцип спама.

Задачу же Вы поставили, или забыли уже? :)

Вы и вручную такую задачу не решите, если n будет достаточно большим. Чисто физически - глаз замылится, а текст А забудется.

Ну и простой пример хитрого синонимайзера:

Было:

Стало:

Такой уровень синонимайзера осилите легко? ;)

Потому что никогда не думали об этом. Проблема ведь не такая тупая, как Вам кажется. Антиспамом занимается много коллективов, выделяются большие гранты по всему миру. Толк есть, но спамеры тоже на месте не стоят. :)

Кстати, некоторые спамеры даже патенты получают. И издают сотни тысяч разнообразных книг, изготовленных спам-методами. Имеют многомиллионный официальный доход. :)