Скрипт для очистки текста от мусора

PHP-скрипт для очистки текстов от мусора (по заданным фильтрам)

Описание

Скрипт разбивает текст на предложения, затем проверяет каждое предложение по фильтрами. Если совпало - предложение удаляется. Все предложения, прошедшие проверку записываются в результирующий файл.

Скрипт хорошо подходит для создания текстовок для доров из сканированных книг, в которых бывает полно мусора. И что ещё хуже, часто бывает, что русские буквы заменены на внешне идентичные английские буквы.

После работы скрипта в результирующем файле будут сохранены только чистые предложения (в зависимости от выбранных фильтров).

Требования

PHP 4

Фильтры

Для удобства все фильтры выведены в отдельный файл "filters.txt" и легко могут быть изменены\добавлены.

ps) Для тех, кто хочет другой фильтр и не разбирается в регулярных выражениях - пишите в ветке, подскажу

#

# Фильтры, по которым будут проверяться предложения.

# При совпадении фильтра с предложением - предложение удаляется.

# Формат записи: [регулярное выражение] [разделитель-символы табуляции] [описание]

#



/^.{0,5}$/			Удалять предложения длинной менее 6 символов

/^[^А-ЯЁA-Z]/			Удалять предложения, начинающиеся не с заглавной буквы

/[А-ЯЁ]{2}/			Удалять предложения, в которых присутствует 2 и более подряд идущих заглавных букв

/[^а-я0-9ё \-,]/i		Удалять предложения, в которых присутствуют любые символы отличные от русских букв, цифр, тире и запятой

/^([^\s]+\s?){0,3}$/		Удалять предложения, в которых менее 4 слов

/^.+[А-ЯЁA-Z]/			Удалять предложения, в которых есть заглавные буквы не в начале предложения (обычно, это имена собственные, названия и т.п.)

Скачать

http://trindex.ru/download/textcleaner.zip (4 кб)

//PS) Целесообразность чистки текстовок для доров каждый решает для себя. И флеймить на эту тему в этой ветке не нужно!