Чем чисттьб "кеи"

А что Вы под мусором подразумеваете? я просто сегодня буду тестировать такую прогу)))

Aggress парсер удобная штука. Многое умеет.

например очистить все фразы, кроме тех, в которых есть порно,секс, письки сиськи и тд.

Очень гуд! :)

Мне например нужно вставить файл, прописать "плохие" слова, типа "дети, порно, подростки и пр" и получить на выходе очищенную базу

где то я уже встречал такой сервис онлайн. PS в доргене лезвия можно включить поддержку фильтрации слов вида childporn

Купить базу Пастухова и вуаля!

Xenos_by,не согласен.

В базе пастуха адалта очень мало и сверхнизкочастотка.

Лучше свою базу собрать,почистить.

как писали выше, AGGRESS Parser - рекомендую.

очистит от ненужных слов (введешь "дет" - удалит и детей и где встречается "дет"), убьет дубли

ну и как парсер не плохой можно использовать :)

Этого нет. Ну по крайней мере в той версии что у меня. Есть возможность поиска по вхождению подстроки, если интересно, линк в личку дам. Здесь не буду постить, потому что код правится до сих пор, т.е. совсем бета))))

Не понял, а сверхнизкочастотка, это плохо или хорошо?

Ее там много?

Из логов собираете или постаринке директ обходите?

если надо могу написать. пример файла в личку скинь. завтра вечером будешь пользоваться:)