Удалить дубли - 80кк строк

Прошу отписать если решите данный вопрос.

Пока могу удалять дубли только с 5-10кк.

textpipepro, выбираете в меню слева удалить -> дубликаты строк

ps берет любой размер файла

Есть самопис на c# который легко обрабатывает файлы по 2 гига. быстро и надежно )

Но для 2гб файлов нужна х64 винда и памяти поболее 4 гб.

вот прога http://cl.ly/302B03000z1N061J0o2h ( не помню, вроде она скомпилена под x86, если нужна будет под x64 скажите )

она берет строки из файла data ( без расширения )

и создает data-unique

для работу нужен .NET

Ну или кому сорцы нужны, вот :

using System;
using System.Collections.Generic;
using System.Text;
using System.IO;

namespace unique
{
    class Program
    {
        static void Main(string[] args)
        {
            Encoding cp1251 = Encoding.GetEncoding(1251);
            HashSet<String> hash = new HashSet<String>();
            string line;

            Console.Write("Read : ");
            StreamReader file = new StreamReader(@"./data",cp1251);
            while ((line = file.ReadLine()) != null)
            {
                hash.Add(line);
            }
            file.Close();

            Console.Write("OK\nWrite: ");

            StreamWriter filew = new StreamWriter(@"./data-unique",false,cp1251);
            foreach (String hval in hash)
            {
                filew.WriteLine(hval);
            }
            Console.Write("OK\n");

        }
    }
}

а чем вам этот вариант не нравится ?

<?php file_put_contents(ok.txt , array_unique(file('файл.txt'))); ?>

ставьте в php.ini много памяти и го

тс, ты так и не сказал сколько файл весит

<?php file_put_contents(ok.txt , array_unique(file('файл.txt'))); ?>

Может просто не хватить памяти для считывания всего файла в массив.

Лучше считывать построчно, тогда останется надежда, что памяти хватит на массив с уникальными строками.

Выложу свой консольный вариант вечером, если найду.

Самый скоростной и действенный, но нужен Линух, а у автора Вынь.

cat source.txt | sort | uniq > result.txt

Это именно оно.

Если у ТСа Винда - выход есть. GNU CoreUtils Win32

Нашел свой вариант на C++.

Консольная программа. Файл в 1кк строк (взят с newox.ru/free_base.php) обрабатывает в 3 раза быстрее варианта cat & sort & uniq.

Проверял на загруженной машине с 512RAM, камень селероновский. То есть понятно, что работать может намного быстрее.

Если еще нужно - могу скомпилить под винду или даже в приличный гуй обернуть.

BredoGen. добавил 06.12.2010 в 14:13

Как поведет себя с 80кк - без понятия.

cat source.txt | sort | uniq > result.txt

Винда загнется еще на cat, с большей долей вероятности :)

построчно смысл теряется

считаешь одну строку, а с чем сравнивать её будешь?

на след.строке предыдущая уже забыта, иначе теряется смысл слова "построчно"

это долго

у меня perl-скрипт работает на линухе через хэши - за секунду из ляма выкидывает лишнее (русские кеи тоже обрабатывает)

с бОльшим кол-вом кеев просто не приходилось сталкиваться

кидай файл, посмотрим, сколько займёт

Хранишь массив с хешами в памяти. Читаешь прострочно и сравниваешь. В чем проблема?