Форум Практика оптимизации Doorways & Cloaking

Скрипт для очистки текста от мусора

alexandr_nv · 2010-04-12T19:01:14.0000000Z

PHP-скрипт для очистки текстов от мусора (по заданным фильтрам) Описание Скрипт разбивает текст на предложения, затем проверяет каждое предложение по фильтрами. Если совпало - предложение удаляется. Все предложения, прошедшие проверку записываются в результирующий файл. Скрипт хорошо подходит для создания текстовок для доров из сканированных книг, в которых бывает полно мусора. И что ещё хуже, часто бывает, что русские буквы заменены на внешне идентичные английские буквы. После работы скрипта в результирующем файле будут сохранены только чистые предложения (в зависимости от выбранных фильтров). Требования PHP 4 Фильтры Для удобства все фильтры выведены в отдельный файл "filters.txt" и легко могут быть изменены\добавлены. ps) Для тех, кто хочет другой фильтр и не разбирается в регулярных выражениях - пишите в ветке, подскажу # # Фильтры, по которым будут проверяться предложения. # При совпадении фильтра с предложением - предложение удаляется. # Формат записи: [регулярное выражение] [разделитель-символы табуляции] [описание] # /^.{0,5}$/ Удалять предложения длинной менее 6 символов /^[^А-ЯЁA-Z]/ Удалять предложения, начинающиеся не с заглавной буквы /[А-ЯЁ]{2}/ Удалять предложения, в которых присутствует 2 и более подряд идущих заглавных букв /[^а-я0-9ё \-,]/i Удалять предложения, в которых присутствуют любые символы отличные от русских букв, цифр, тире и запятой /^([^\s]+\s?){0,3}$/ Удалять предложения, в которых менее 4 слов /^.+[А-ЯЁA-Z]/ Удалять предложения, в которых есть заглавные буквы не в начале предложения (обычно, это имена собственные, названия и т.п.) Скачать http://trindex.ru/download/textcleaner.zip (4 кб) //PS) Целесообразность чистки текстовок для доров каждый решает для себя. И флеймить на эту тему в этой ветке не нужно!

akaplenko

28 июня 2010, 14:39

#21

moneySEO, я это делаю серией замен:

"," = ", "

" ," = ","

и так для всех знаков препинания

а потом:

"много пробелов" = "1 пробел"

170

moneySEO

28 июня 2010, 15:05

#22

та я тоже так, но хотелось бы автоматизировать. + обрабатывать партию файлов за раз а не по одному (

Сервис быстрой индексации ссылок в Google: https://moneyseo.info/speedy-index

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

Дзен реализовал для авторов возможность вывода денег через СПБ

Скрипт для очистки текста от мусора