Подскажите прогу для того чтобы из текстового файла удалить дубликаты

В линуксе тривиально (предварительно отсортировав содержимое файлов командой sort если они не отсортированы):

comm -23 Файл1.txt Файл2.txt

я в базу импортил и там группировал

http://rghost.ru/47590508

В архиве 2 софтины 1 делает как тебе надо 2 просто удаляет дубликаты строк из файла

$lines = file_get_contents('file.txt');

$lines = explode("\n",$lines);

$lines = array_unique($lines);

print implode("<br/>",$lines);

Правильный блокнот аля Акелпад. Копируешь содержимое первого файла во второй через какой-нить разделитель -> удалить дубликаты ->под разделителем уже всё вычищенное - в первый файл. При необходимости - удалить пустые строки.