Скрипт поиска уникальных строк (Python 3.1)

Удивительно, исправил.

перловка будет быстрее пхп и питона. но я на перле пиху дольше чем на пхп. и тормознутость пхпшного скрипта вполне компенсирует малое время программирования.

Да, действительно, как-то не красиво я поступил.

Прошу прощения что агрессивно отреагировал на ваш скрипт!

Спасибо что выкладываете свои творения, многие даже за такое берут деньги!

А насчет памяти это огромный + Мне надо проверить файл размером 3гб на уникальность строк. Попробую ваш скриптик под это дело.

Да все нормально! Любая критика полезна, да и я не любитель лестных отзывов.

3 гига... не уверен, что выйдет, но попробуйте. Думаю, что прокатит если памяти хватит для хранения именно уникальных строк, т.к. они все же хранятся в оперативке ☝

на случай под 3 гига используем свойство уникальность mysql

CREATE TABLE IF NOT EXISTS `utext` (

`text` varchar(255) NOT NULL,

`id` int(11) NOT NULL auto_increment,

PRIMARY KEY (`id`),

UNIQUE KEY `text` (`text`)

)

<?

mysql_connect('localhost','user','pass');

mysql_select_db('uname');

$handle = fopen("/tmp/inputfile.txt", "r");

while (!feof($handle)) {

$buffer = fgets($handle, 4096);

mysql_query("INSERT INTO `testing`.`text` (`text`, `id`) VALUES ('".trim($buffer)."', NULL)");

}

fclose($handle);

?>

На выходе получаем базу с уникальными значениями

Да я тоже про мускул думал, даже пробовал. Но не через пхп, а напрямую load data in file ( вроде так )

Дооооооолго работает заразО :(

долго конечно, но работает. иначе ни как я думаю не перелопать 3 гига текста. Просто оперативки не хватит.

Ни разу не быстрее 🚬,только в определенных случаях.

Знаю все 3 языка.

А вообще 3 ветку питона не стоит пока использовать,2.x сейчас все используют.

Php быстр только при написании хелло вордов,да и file() не всегда обработает такой большой фаил.

труъ олдскул блэкмастерз обычно делают таг:

cat file1.txt | sort | uniq >file2.txt

С чего бы это? Если заранее знаешь, что есть нужные модули, то почему бы и нет.

Например, одна моя сложная система отлично работает на Python 2.7 alpha 3 . А всякие мелкие скрипты, где для интерфейса достаточно возможностей tkinter - на Python 3.1.