Существует ли программа, удаляющая дубли слов ( не строк?) И оставляет первое слово.

Димитрий
На сайте с 20.01.2007
Offline
137
656

Есть необходимость вот такого интересного удаления дублирующихся слов ( не строк).

Большинство программ ( keywordkeeper, penguin, keywash и многие другие)- удаляют только дубли строк.

А ситуация такая:

например есть строки:

зеленый огурец

зеленый луг

зеленый лес

человек в капюшоне

лис в капюшоне с головой

лис в капюшоне с рогами

если запустить через обычные программы, то ничего не удалится, а в моем случае надо удалить повторяющиеся слова, оставив конечно первое.

то есть чтобы на выходе было

зеленый огурец

луг

лес

лис в капюшоне с головой

с рогами

То есть каждое слово в итоге должно лишь раз встречаться в файле ( а дубли именно слов удалены)

Буду очень признателен если подскажете, какая программа может такое делать?

Или может в какой-либо существующей программе можно задать как-то по хитрому правило для этого?

Разума и осознания! Личный сайт- грани мироздания, психология и всё такое (https://geval.ru)
Fringer
На сайте с 19.09.2012
Offline
82
#1

Грузите список в таблицу

Разбиваете словосочетания на слова(разделитель пробел)

Переносите слова из других столбиков в первый

Берете итоговый список слов и чистите любым онлайн сервисом от дублей

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий