Уникализатор

А автоматом никак синонимы не проставляет?

Автоматом по фразе или автоматом по всему тексту?

Если по фразе, то практически так и есть. При выделении фрагмента шлется запрос к базе синонимов. Полученные синонимы отображаются списком в окне фразы. После этого нужно выбрать те, которые вас устраивают и пометить их галочками. Делать автоматом пометку всех полученных синонимов не стал. Не все из них могут оказаться подходящими по смыслу к тексту. Тем не менее сделал рассчет процента использования синонима по отношению к использованию фразы. Это может упростить принятие решения, а так же позволит в дальнейшем реализовать алгоритмы автоматического заполнения.

Конечно же это в том случае если синонимы уже есть в базе. Если их там нет, то синонимы вводятся вручную. Сейчас сервис только запущен и база практически пуста.

Что касается автоматического заполнения синонимами всего текста, то пока база синонимов маленькая об этом говорить рано. Такие алгоритмы есть, но без хорошей базы про них думать рано. Найти какую-то готовую хорошую базу синонимов с учетом всех форм слов у меня навскидку не получилось.

Доработки:

• Добавлены 3 словаря общим объемом около 150 000 слов, 750 000 синонимов, 12 000 000 словоформ.
• Включен механизм автозаполнения текста синонимами.
• Возможность выбора одного или нескольких словарей одновременно.
• Скролинг в окне выбора синонимов при количестве позиций больше 10.
• Возможность выбора или отмены выбра всего списка синонимов одним нажатием.
• Статистка выбранных синонимов для одной фразы.

Если требуется более качественная автоматическая синонимизация можно выбрать словарь SynMaster. Если требуется "богатство" выбора, то можно подключить словарь Monstro. В этом случае количество синонимов на одну фразу может доходить до 700 штук. Конечно же подходящих по смыслу в конкретном контексте будут не все из них, но всегда можно оперативно отобрать нормальные вручную.

Доработки:

• Добавлен словарь "Aprok" на 207 000 словоформ ()
• Исправлен порядок сортировки синонимов для браузера Chrome
• Изменен алгоритм рассчета размера и позиционирования окна с синонимами.
• При добавлении вручную нового синонима, если он уже есть в базе, то добавляется в словарь сайта.

Доработки:

Добавлено выдвигающееся окно со статистикой плотности слов. Возможен пересчет плотности с учетом морфологии.

Тихо сам с собою... Либо сервис не востребован, либо его изначально нужно было делать платным и вытягивать отзывы за полцены. Тяжело дорабатывать, когда нет рекомендаций или сообщений об ошибках. Зато уже несколько раз за неделю пытались взломать. С такой "любовью" встречаюсь впервые. Походу, таки надо уже прекращать со свободным доступом.

Поработал немного с сервисом. Глюков/ошибок не заметил. В целом, все удобно и интуитивно понятно.

По доработке:

1. было бы удобно когда добавляешь свой синоним то чтобы он после нажатия на + сразу "выбирался", а так приходится закрывать окошко с синонимами и потом снова его открывать чтоб поставить галочку...

2. предусмотреть чтоб пользователи могли помечать неверные синонимы или синонимы с ошибками, чтобы их потом модератор мог удалить/исправить

3. сделать приоритет словосочетаний при автозаполнении (сори если это уже сделано)

Ура! Здесь, оказывается, есть люди!

Баг. Поправил. Так и задумано было.

Думал над этим. Пока остановился на том, что рассчитывается процент использования синонимов по отношению к первоначальной фразе. Чем выше процент, тем чаще используется. Соответственно сортировка в списке синонимов происходит по этому проценту. Малоиспользуемые и ошибочные синонимы отодвигаются вниз. Как их потом на полуавтомате удалить - стоит подумать. Возможно действительно сделать напротив каждого синонима кнопку с жалобой.

Такая штука была задумана раньше чем подключение внешних словарей. Будем посмотреть как сервисом пользуются и рассчитываются проценты по синонимам. Если это заработает, то в окно "словари" добавлю поле или выпадающий список для выбора процента автозаполнения. Фактически все для этого уже реализовано. Вопрос проверки эффективности. Проверка эффективности вопрос времени и активности использования сервиса.

Неожиданно получило продолжение тема с попытками взлома. Один из товарищей работал без прокси. Отписал в абузу его провайдеру с выдержками из логов. Как оказалось у оного уже в наличии условный срок по схожим правонарушениям. Теперь провайдер слезно просит написать официальное заявление в милицию чтобы посадить супостата. Сижу, не знаю что делать.

Приоритет словосочитаний (это я имел ввиду, когда текст сначала делится на словосочетания и к ним подбираются синонимы, а уже потом к тем словам которые остались, и чем длиннее словосочетание тем приоритетнее) это, на мой взгляд, дает больше "человечности" при замене. Ведь читаемость статьи это даже важнее уникальности. Просто к словосочетанию из 3-4 слов легче подобрать синоним-слово/синоним-фразу которые будут подходить без ручной правки в большинстве случаев.

они что, клоны?

Речь про автозаполнение? Сейчас алгоритм следующий - текст делится на предложения. Берутся первые 10 слов предложения и ищется на них синоним. Если не находится - берутся первые 9 слов. Если не находится 8 слов и т.д. до одного. Если синоним найден, то исключается из предложения и берутся следующие после него 10 слов. Потом 9 и т.д. Таким макаром обрабатывается каждое предложение. В результате чем длиннее фраза, тем приоритетнее для нее синоним.