Скрипт для замены слов в тексте на синонимы

Зачем береться качаеться 50 гигов текстов. И благодаря им производиться анализ окружения. Даже не анализ а бракование синонимов не вписывающихся в данный контекст.

+ еще штук 40-50 эвристик.

В задаче генерирования < 5 вариантов текстов.

каждому синониму приписываеться какое то число (вероятность правильности). Потом учитывая длину шингла программа с помощью Alfa-Beta перебора выбирает оптимальный вариант учитывая, что как можно большее к-во шинглов должно быть разными в текстах и вероятность не правильного употребления синонима должна быть минимальной.

Alfa-Beta нельзя обаботать весь текст и текст обрабатываеться кусками. При увеличении длины куска увеличиваеться время обработки в геометрической прогрессии, а при уменьшении хуже становиться выбранный вариант. Я работаю над этой проблемой, пытаясь считать взахлест и выбирать метрики, но это вызывает огромный ряд сложностей.

kevindark, смею поинтересоваться, что представляет ваш синомайзер, о котором столько слухов.

Hkey, этот год будет усиленной работы над генерацией контентов как для рунета, так и для буржуйского. Кто что-то толковое сделает - ждут очень неплохие доходы.

Для поиска в нескольких гигах давно придумали MySQL и индексы. :)

MySQL и индексы

скоко будет искать все предложения в которых есть слово "задание" и все его словоформы из полумилиарда предложений? И скоко это памяти жрать будет?

К сожалению для буржунета у мну нету людей со знанием правил построения предложений и таблиц словоформ да и базы синонимов.

Синомайзер меняющий только синонимы Гугл раскусит, как мне кажеться. Нужно менять структуру предложений либо даже сливать/разделять предложения.

а зачем ему такие сложности, как раскусывать ?

ему достаточно знать что текст уникальный

Базейку синонимов надо искать - наверняка где-то есть

SEO-предсказание на 2007г. :D

WordWeb, например...

Сделали в октябре 2001- феврале 2002. Выглядит как английский текст написанный каким-нибудь голландцем - в каждом третьем-рятом предложении необычное, хотя и допустимое использование слов. Читатель обычно не успевает врубиться, кликает на что нибудь ценно. Google выделяет как нечеткие дубли. После внедрения было уволено два десятка дизайнеров, вебмастеров и копирайтеров, который до того лепили все в ручную. Контора делала девятьсот тысяч баксов в месяц, но съехала на поллимона, потому как диминишин ретерн начал проявляться где-то в районе 200K, плюс куммулятивный эффект с подтянувшимися конкурентами и заметные ошибки главного идеолога в кросслинкинге и регенерации целых цепей сайтов за раз.

Пробовали также другие приколы, типа машинный перевод с английского на немецкий и назад. Сайты сделанные по этой технологии до сих пор валяются по всему нету, хотя по моей оценке их сейчас не более двухсот тысяч осталось, и большинство теперь из одной-пяти страниц, а не из 25 как раньше. Но маскировка до сих пор работает. К стати, каждый сайт имеет уникальный дизайн. Нормальный, с уникальными картинками. Мой скрипт тратил по двадцать секунд на страницу, так что это вам не хухры-мухры. Правда работали по двадцать, а то и сто потоков.