команды unix удаление дублей - прошу помощи

sort big.txt | uniq > big.txt-copy

Результат будет в big.txt-copy.

Либо сразу(но лучше не надо):

sort big.txt | uniq | tee big.txt

Сентябрь, только отсортировал

было в big.txt

стало в big.txt-copy

дубли остались ((

cat big.txt | sort| uniq > big_sorted.txt

Ylich, покажите пример данных.

sort | uniq должны сделать свое дело.

V2NEK, пример с данными в третьем посте - используются русские слова

iamsens, тоже не помогло, думаю проблема как раз в русскоязычности, если в файле как пример ввести англоязычные слова все сортируется и удаляется, но проблема, что исходный файл в котором удалять также русскоязычный

язык тут не причем

>cat test.txt

два

три

два

три



>cat test.txt | sort | uniq

два

три

для sort и uniq, не важно, что находится внутри, он нормально и бинарные строки сортирует

кинь сюда 30-40 строк с файла, посмотрим что с ним не так

>cat test.txt

два

три

два

три



>cat test.txt | sort | uniq

два

три

сделал также текстовый файл с "два три два три", закинул на впс, зашел из под putty и прям сразу в папке рут где лежит файл ввел команды - только отсортировалось

видимо глюк с впсом, пойду ковырять впску )))

еще у sort есть ключик -u

no_doubles.pl

#!/usr/bin/perl -w

$inputF = shift;
$ouputF = 'out_'.$inputF;

open (F , "<$inputF");
@input = <F>;
chomp (@input);
close F;
%out = ();
@input = grep(!$out{$_}++, @input);

open (F , ">>$ouputF");
print F join("\n",@input);
close F;

Сделает то что нужно и без проблем с кодировкой. По времени выполнения оказалось даже существенно быстрее.

WapGraf, "shift" я правильно понял, что это имя файла из которого удаляем дубли?

на 2 млрд строк не загнется?