Существует ли программа, удаляющая дубли слов ( не строк?) И оставляет первое слово.

Есть необходимость вот такого интересного удаления дублирующихся слов ( не строк).

Большинство программ ( keywordkeeper, penguin, keywash и многие другие)- удаляют только дубли строк.

А ситуация такая:

например есть строки:

зеленый огурец

зеленый луг

зеленый лес

человек в капюшоне

лис в капюшоне с головой

лис в капюшоне с рогами

если запустить через обычные программы, то ничего не удалится, а в моем случае надо удалить повторяющиеся слова, оставив конечно первое.

то есть чтобы на выходе было

зеленый огурец

луг

лес

лис в капюшоне с головой

с рогами

То есть каждое слово в итоге должно лишь раз встречаться в файле ( а дубли именно слов удалены)

Буду очень признателен если подскажете, какая программа может такое делать?

Или может в какой-либо существующей программе можно задать как-то по хитрому правило для этого?