Обработка текста

Легче всего написать коротенькую программку, которая будет это делать. Я обычно для таких целей использую php на локальном сервере. Специальных программ, которые делают то, что вам нужно не встречал.

На Питоне попробуйте скрипт написать.

Перед тем как создавать тему погуглить не пробовали?

Вот смотрим тут и тут и еще много подобных онлайн сервисов.

Еще это можно сделать через старый добрый Exel.

Так удалить-то надо не только дубли, а и первоисточник-основание дубля, так сказать).

В экселе с фильтрами порыться.

А объем большой?

Либо простейший скрипт... самописный.

Ручками, если объем небольшой. Скрипт написать или попросить написать. Могу написать. Но бесплатно не работаю.

Notepad++ в помощь.

Если вам это придется делать не раз, то напишите скрипт.

Тоже могу скрипт написать, если что.

Как-то не совсем тема к копирайтерам)

f=open('_1.txt')

g=open('_2.txt','w')

text=f.read()

spisok=text.split('\n')

for a in spisok:

******if spisok.count(a)==1:

***********g.write(str(a)+'\n')

g.close()