Собирателям и владельцам баз синонимов – скрипт SynAuditor

Что делает скрипт SynAuditor?

1. Удаляет пустые строки в базе синонимов. Также удаляет строки, в которых есть пустое слово или пустой синоним.

2. Удаляет дубли строк, слов и синонимов. Если в вашей базе есть несколько синонимов к одному слову в разных строках (или несколько слов приходится на один синоним в разных строках) – останется только одна строка, в которой слово или синоним встретились впервые.

3. Вычисляется и сравнивается морфологическая информация о слове и о синониме. Если морфологическая информация не совпадает – строка удаляется из базы. Это нужно, например, для того чтобы избежать некорректных сравнений вида мир|вселенная, где слово мир мужского рода, а синоним вселенная женского.

4. К каждому слову и синониму автоматически добавляются недостающие морфологические словоформы, что увеличивает количество строк в базе примерно до 10-300% (в зависимости от первоначального качества базы) и значительно улучшает качество базы синонимов. Например, в базе встретилась строка непрерывен|нескончаем. Скрипт автоматически добавит к базе недостающие словоформы:

непрерывна|нескончаема
непрерывная|нескончаемая
непрерывнее|нескончаемее
непрерывней|нескончаемей
непрерывно|нескончаемо
непрерывного|нескончаемого
непрерывное|нескончаемое
непрерывной|нескончаемой
непрерывном|нескончаемом
непрерывному|нескончаемому
непрерывною|нескончаемою
непрерывную|нескончаемую
непрерывны|нескончаемы
непрерывные|нескончаемые
непрерывный|нескончаемый
непрерывным|нескончаемым
непрерывными|нескончаемыми
непрерывных|нескончаемых

После добавления словоформ рекомендуется снова проверить базу на дубли.

5. Есть возможность сортировки базы в любом направлении, а также перемешивания в случайном порядке.

Как пользоваться скриптом?

Во-первых, скрипт работает только с базами в формате слово|синоним, то есть такими, в которых одно слово или словосочетание соответствует одному слову или словосочетанию. Если одному слову соответствует несколько синонимов – скрипт отработает неверно, так как он не предназначен для работы с такими базами. Даже не пытайтесь.

Во вторых, основная работа происходит над однословными позициями (теми, которые представлены одним словом и однословным синонимом). Двухсловные и более словосочетания, имеющиеся в базе, пропускаются и не обрабатываются, оставаясь в базе синонимов в неизменном виде.

Скрипт работает с базами синонимов в кодировке windows-1251. Используйте Notepad++ или другие утилиты для преобразования кодировок.

Для работы скрипта требуется Apache2 + PHP5 (Denwer и Vertrigo полностью удовлетворяют требованиям). Также скрипт можно использовать на Linux-серверах (для этого на папку со скриптом нужно установить права для записи).

Интерфейс скрипта выполнен по ajax-технологии, пользование им не составит труда. На первом шаге вы загружаете базу синонимов на сервер и устанавливаете разделитель между словами и синонимами (по умолчанию вертикальная черта |). После загрузки базы становятся доступны возможности по её обработке, описанные выше.

Как купить SynAuditor?

Стоимость скрипта 24$. Купить его можно автоматически по этой ссылке.

Что еще?

При желании могу обработать скриптом одну базу одного любого форумчанина за конструктивный отзыв.