Синонимайзеры. Фабрики смысла vs фабрики бреда.

Вы предлагаете какой-то новый продукт или просто возмущаетесь?

И простите за нескромный вопрос: чем сгенерирован этот текст?

Авторерайтер, говорите? :)

Этот продукт должен уметь выполнять следующие задачи:

- выделять перво- и второстепенные члены предложения

- понимать морфологию, лексику и грамматику (как минимум)

- различать слова с ошибками и правильно их исправлять

- понимать смысл предложений

- уметь переставлять слова (и предложения?) так, чтобы не терялся общий смысл

- генерировать свои предложения на основе обработанных предложений

Конечно же, этот список неполон, просто это первое, что пришло на ум.

Так вот, если с первыми тремя пунктами особых проблем нет, то последние пункты могут вызвать некоторую ошалелость у тех, кто не очень знаком с правилами русского языка. И если с пониманием смысла можно повременить, то переставлять слова программа должна буквально с первых своих шагов. К слову сказать, перестановка слов - не такая уж и сложная задача. Куда сложнее - генерация своих предложений. Для этого программа должна хоть немножко понимать смысл предложений (хотя бы на уровне понимания взаимосвязи между словами в одном предложении). А это, конечно же, очень и очень непросто. Хотя бы потому, что у нее должна быть очень большая база слов и связей между словами и группами предметных тем, для того чтобы она могла делать выводы хотя бы о теме разговора, чтобы потом на основании полученных знаний о вхождении базовых слов в другие предложения, делать какое-то подобие высказываний на ту же тему. Как вы понимаете, высказывания будут шаблонными. Зато своими и на заданную тему. :)

В заключение могу сказать только одно: синонимайзерам быть. Хотя бы до тех пор, пока не будет написан продукт, описанный в вашем ИКР.

Кстати, вопрос: должен ли этот авторерайтер генерировать безграмотные результаты на основании безграмотных исходных текстов? И должен ли он фразу

"Чиво вылупился, урюк?"

"Милостивый государь, любезнейше простите, но не находите ли вы, 

что ваш взор, который вы неосмотрительно бросили на меня, 

несколько возмутителен?"

Автора топика прекрасно понимаю )))

Для тех, кто в теме скажу, что я не стал бы затевать этот топик, если бы у меня не было определенных наработок в этой теме. Я занимаюсь исключительно англоязычными текстами и более того, одной определенной тематикой. Это контент для взрослых – adult.

Незабвенный Козьма Прутков говорил, что нельзя объять необъятное. Поэтому генеральный подход к теме топика, как это я вижу:

1) Сконцентрироваться на узких тематиках.

2) Плясать в диалектическом подходе – от абстрактного к конкретному.

Узкая тематическая ниша. Для начала я решил для себя задачу генерирования десков – это описания к картинкам или видеогалереям и другим контентным ресурсам адалтной тематики. Качество – написано для людей, и в общем то не возможно определить, что это тексты написаны программой. Я выбрал 1 нишу. Этого мне оказалось мало и сейчас я работаю над короткими описаниями – минисюжетами. Причем я вижу, что ничего мне не мешает масштабировать полученные результаты и делать связки минисюжетов. Я называю это раскадровкой по аналогии с киношным производством.

Таким образом, я перешел к осуждению подхода «от абстрактного к конкретному». Плясать надо от обобщенных смыслов. Пример, из адалта. Есть ситуация, скажем: «пришел-увидел-поимел». Это обобщенный смысл – верхнего уровня.

В ситуации имеется ограниченный набор действующих лиц. Они имеют определенные параметры, внешность, одежда, особенности. Есть контекст – место, окружающие предметы и т.п. Есть цепочка развития событий: 1) Пришел 2) Увидел 3) Поимел. Далее делаем раскадровку 1) Пришел: кто, куда, когда, каким образом… 2) Увидел: кого, она была, описание внешности, одежды, поведения… 3) Поимел: действия – прелюдия, собственно способ(ы) каким(и) поимел, что при это делал, что делала она, последовательность, физиология, эмоции, диалоги, охи-ахи… Каждое отдельное звено раскадровки имеет ограниченное число клаузем. На них навешиваются, в зависимости от предзаданного контекста (граничных условий) обстоятельства, определения, дополнения. Клауземы, с помощью всего нескольких конструкций английского языка, могут связываться в сложные предложения.

Для этого мне пришлось набрать достаточно большую базу текстов по выбранной узкой нише. У меня порядка 500мб текстовых файлов (это на вырост собрано), распаршенных на отдельные предложения и цепочки словосочетаний до N-словников, позволяющие выявлять, пока в полуавтоматическом режиме упоминаемые мною клауземы.

Как видите, задача только с виду не подъемная. Да, она объемная и трудоемкая на этапе создания базы обобщенных смыслов, выявления клаузем и контекстных навесок к ним в виде групп обстоятельств, дополнений и определений. Результат – предполагаю, что мне удастся даже в одиночку в измеримое время получить генератор MFM текстов для выбранной мною ниши. Ну, а масштабирование – это уже менее сложная задача.

Вообще-то, у меня получается генератор, а авторерайтер(пока квазиавтоматический) будет служить модулем для подготовки базы к нему.