Скрипт поиска уникальных строк (Python 3.1)

Огромное спасибо! :)

Пригодится для практики.

<?

$text=file("file.txt");

array_unique($text);

$text=implode('/r/n',$text);

file_put_contents("gotovo.txt",$text);

ciber, +1

И работать будет быстрее

Как альтернатива

<?

$data = file("data.txt",FILE_SKIP_EMPTY_LINES|FILE_IGNORE_NEW_LINES);

$data = array_unique($data);

file_put_contents("data_uniq.txt",implode("\n",$data));

?>

или я не так понял ваш функционал?

firacet добавил 10.02.2010 в 14:36

Блин, пока писал уже такое запостили ))))))

firacet добавил 10.02.2010 в 14:37

А вот array_unique возвращяет масив без дублей, а не чистит по ссылке то что передано.

Ну, пайтон порвёт пхп по скорости в любом случае. Не знаю даже во сколько раз.

Реализация на пхп будет работать гораздо медленнее, не знаю, конечно, как правильно сделал ТС, но если говорить о ситуации в целом.

Молодцы, круто! Уже и выбор есть если вдруг кому-либо понадобится.

А сам я PHP не знаю, а этот взялся написать, чтобы дополнительно попрактиковаться. Так что не судите строго...

С чего это Вы взяли?

Да, я согласен насчет скорости питона - тут спору нет.

Просто 7к за 15 сек - это чересчур.

На РНР приведенные скрипты отработают за полсекунды.

P.S Упс. Недосмотрел. 7кк строк. Тогда норм :)

Ну блин, в архиве 1.3 кб. а в пхп три строки.

Я таким скриптом 100 метровые файлы на дубли чищу и ничего, быренько все работает.

Да и 7к строк 15 секунд это что-то оооооочень долго.

Ну ё-маё, Вы бы еще кол-во символов подсчитали. Там основная часть "консольный интерфейс".

п.с. можно было бы значительно ускорить процесс за счет считывания всего файла в память, но это бы ограничило возможности скрипта размерами свободной оперативной памяти.

Всё ок, Dmitry HT, спасибо

Просто вместо 7кк стоит писать 7 млн - так нагляднее ;)