В памяти хранится контейнер с числовыми хешами. Т.е теоретически каждая строка [хеш каждой строки] будет занимать 4 байта. В реальности все не так хорошо и для обработки 80кк понадобится чуть больше.
По скорости вроде рвет всех и вся. Удалось скормить 26кк (900мб), как будет вести с более весомыми данными (и вообще на винде) - не знаю.
Большое спасибо! То что нужно. Скормил 5Гб и отлично почистило)
plantator: Да уж, конверт в 2 а то и более раза за последние 2 дня просел. Но вижу, что это общая проблема.
Что-то в аське саппорт никак не выловить даже по будням. Отпишитесь как часто саппорт бывает онлайн.
Деньги получил, спасибо, холд почти 20%. Странно, самый большой за все время, обычно было в районе 10%.
С России смс"ки у кого-то идут? У меня пока только Украина. Или может совпадение? :)
Строки занимают слишком много памяти, их лучше вообще не хранить.
Мой вариант:
Версия для винды: http://dl.dropbox.com/u/16333142/unique.tar.gz
Для Ъ & линуксоидов (исходники): http://dl.dropbox.com/u/16333142/unique_src.tar.gz
В памяти хранится контейнер с числовыми хешами. Т.е теоретически каждая строка [хеш каждой строки] будет занимать 4 байта. В реальности все не так хорошо и для обработки 80кк понадобится чуть больше.
По скорости вроде рвет всех и вся. Удалось скормить 26кк (900мб), как будет вести с более весомыми данными (и вообще на винде) - не знаю.
Большое спасибо! То что нужно. Скормил 5Гб и отлично почистило)
Здравствуйте, чем можно удалить дубли по строкам?
В файле 80кк ключевиков.
Прошу отписать если решите данный вопрос.
Пока могу удалять дубли только с 5-10кк.
Несколько раз показывалась не моя стата. У кого-то еще было такое?
Может у меня глюк, но были смс"ки по 2.* до обеда, потом тишина, а вот пришло пару по 5.* и опять тишина, конверт хуже чем вчера.
Вместо 5 долларовых смс считаются 10ти, у меня лично пришли такие смс"ки. Возможно из-за этого конверт и просел после обеда?
Смотря какие доры, я на доры тизернет вешаю.
Для каждого сайта нужно создавать отдельную площадку? Или можно все на одной?
действительно, холд напрягает... таким образом деньги все время будут в ПП крутится и никогда полных выплат не будет.... чисто теоретически
Холд уходит не в ПП, а пользователю, который отправил смс"ку.
Да уж, конверт в 2 а то и более раза за последние 2 дня просел. Но вижу, что это общая проблема.
Что-то в аське саппорт никак не выловить даже по будням. Отпишитесь как часто саппорт бывает онлайн.
Пиши тикеты в системе.