Попробуйте добавить функцию разделения на абзацы по заданному кол-ву предложений - Doorways & Cloaking

Скрипт для очистки текста от мусора

alexandr_nv · 2010-04-12T19:01:14.0000000Z

PHP-скрипт для очистки текстов от мусора (по заданным фильтрам) Описание Скрипт разбивает текст на предложения, затем проверяет каждое предложение по фильтрами. Если совпало - предложение удаляется. Все предложения, прошедшие проверку записываются в результирующий файл. Скрипт хорошо подходит для создания текстовок для доров из сканированных книг, в которых бывает полно мусора. И что ещё хуже, часто бывает, что русские буквы заменены на внешне идентичные английские буквы. После работы скрипта в результирующем файле будут сохранены только чистые предложения (в зависимости от выбранных фильтров). Требования PHP 4 Фильтры Для удобства все фильтры выведены в отдельный файл "filters.txt" и легко могут быть изменены\добавлены. ps) Для тех, кто хочет другой фильтр и не разбирается в регулярных выражениях - пишите в ветке, подскажу # # Фильтры, по которым будут проверяться предложения. # При совпадении фильтра с предложением - предложение удаляется. # Формат записи: [регулярное выражение] [разделитель-символы табуляции] [описание] # /^.{0,5}$/ Удалять предложения длинной менее 6 символов /^[^А-ЯЁA-Z]/ Удалять предложения, начинающиеся не с заглавной буквы /[А-ЯЁ]{2}/ Удалять предложения, в которых присутствует 2 и более подряд идущих заглавных букв /[^а-я0-9ё \-,]/i Удалять предложения, в которых присутствуют любые символы отличные от русских букв, цифр, тире и запятой /^([^\s]+\s?){0,3}$/ Удалять предложения, в которых менее 4 слов /^.+[А-ЯЁA-Z]/ Удалять предложения, в которых есть заглавные буквы не в начале предложения (обычно, это имена собственные, названия и т.п.) Скачать http://trindex.ru/download/textcleaner.zip (4 кб) //PS) Целесообразность чистки текстовок для доров каждый решает для себя. И флеймить на эту тему в этой ветке не нужно!

81

Zapata

15 апреля 2010, 03:27

#11

antigen:
в KWK есть не все функции,
а какой макс размер файла можно подсовывать7

Я больше 30 МБ не пробовал, их скрипт почистил за минут 10.

M

35

muscaria

15 апреля 2010, 10:31

#12

Хорошо бы добавить функцию разделения на абзацы по заданному кол-ву предложений.

P

104

Perezzz

25 мая 2010, 12:25

#13

перезалейте кто-нибудь плиз

Конвеер для арбитражников - лендинги, аналитика, офферы, партнерки - все в одном месте! (https://cloud.wildo.ru/p/gefudy08) --------------------------------------- Лучшая товарная ПП (http://m1-shop.ru/reg/21221)

101

berserkus

25 мая 2010, 12:40

#14

Perezzz:
перезалейте кто-нибудь плиз

нафига

только что качнул

"Развивайте свой сайт", - сказал Яндекс, "Развивайте свои алгоритмы", - сказали вебмастера и ушли в гугл... (-=ber$erk=-)

I7

16

ivanj777

25 мая 2010, 13:34

#15

Я в квк из файла в 3 гб выборку делал....

P

104

Perezzz

25 мая 2010, 14:01

#16

Блин, а у меня "Невозможно подключиться к удалённому серверу"

кому не сложно, перезалейте куданить

101

berserkus

25 мая 2010, 14:22

#17

Perezzz:
Блин, а у меня "Невозможно подключиться к удалённому серверу"
кому не сложно, перезалейте куданить

ссылка в личке у тебя

L

89

l00k

18 июня 2010, 10:32

#18

подскажите, пожалуйста, как будет выглядеть фильтр, меняющий в предложении, идущем с новой строки, строчную букву на заглавную.

47

tramp1

18 июня 2010, 12:10

#19

ТС спасибо за скрипт, как раз искал такого плана.

170

moneySEO

28 июня 2010, 14:23

#20

было бы здорово добавит фильтр, который бы проверял и исправлял:

- между предложениями должно быть максимум по одному пробелу

- перед знаками препинания (.,:;?!) не должно быть пробела

- после знаков препинания обязательно должен быть пробел.

А то иногда бывает текстовка вида:

Комментиарии тех,кто с знаком с профессией, верны.

а должно:

Комментиарии тех, кто с знаком с профессией, верны.

Сервис быстрой индексации ссылок в Google: https://moneyseo.info/speedy-index

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи

Переиграть и победить: как анализировать конкурентов для продвижения сайта

Скрипт для очистки текста от мусора