тестил KeyWordKeeper...

spambot
На сайте с 12.12.2008
Offline
55
836

на входе файл (удалял с него ПОВТОРЫ)

776893 строк обьем файла 16,2 МБ (17*089*489 байт)

кейворд кипер обработал его за

14 мин 25 сек при этом потребляя в пике до 16мег озу и 396 мег свопа

оставила в нем 302797 строк(последняя почему то пустая)

обьемом 6,69 МБ (7*025*561 байт)

моя же тулза отработала за 6мин 24 сек

потребив 76 мег озу и 72 мег свопа.

и получив файл 298723 строк

обьемом 6,62 МБ (6*943*407 байт)

афтар правь тулзу :)

своей поделюсь за плюсик в репку если кому надо :smoke:

Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. (http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454)
[Удален]
#1

spambot, ты не прав, мб свопа за 27 секуд легко обрабатывает его тулза.

ps: тема сего форума вроде не об этом. сорри, если задел.

Newo
На сайте с 13.08.2006
Offline
41
#2

Блин, тут Новый год же скоро, а ты с претензиями)))

обработал

а конкретнее?

spambot
На сайте с 12.12.2008
Offline
55
#3

исправил стартовый пост ;)

Newo
На сайте с 13.08.2006
Offline
41
#4

Хм. Очень странно. Версию 4.1 юзали?

Ufaweb
На сайте с 03.03.2008
Offline
182
#5
spambot:
последняя почему то пустая

Что удивительного? :)

spambot:
и получив файл 298723 строк

2к кеев проебали :)

spambot:
своей поделюсь за плюсик в репку если кому надо

Воздержусь..

Newo
На сайте с 13.08.2006
Offline
41
#6

Только что попробовал удалить повторы из файла 18мб. Удалил за 30 сек плюс 400мб оперативы сожрал. Осталось в файле 18мб.

PS Ток у меня еще параллельно жесткий диск с системой клонируется))) Так что, я думаю, это еще раза в три быстрее, как минимум, должно работать.

PPS Authlon64 4400+

Newo добавил 28.12.2008 в 23:34

Магическая у Вас база какая-то. Если хотите, киньте мне Вашу базу - как будет время, посмотрю в чем проблема...

PS Базу больше ни для чего использовать не буду, гарантирую. Мне и своих кеев хватает)))

spambot
На сайте с 12.12.2008
Offline
55
#7

посыпаю голову пеплом использовал версию 4.0.1

версия 4.1. действительно летает

буду щас свою тулзу оптимизировать до той же скорости.

ключевиков у меня меньше потому что

кейа кейб

кейб кейа

для моей тулзы одинаковые строки а для вордкипера разные...

LL
На сайте с 19.12.2008
Offline
39
#8
spambot:
на входе файл (удалял с него ПОВТОРЫ)
776893 строк обьем файла 16,2 МБ (17*089*489 байт)
кейворд кипер обработал его за
14 мин 25 сек при этом потребляя в пике до 16мег озу и 396 мег свопа
оставила в нем 302797 строк(последняя почему то пустая)
обьемом 6,69 МБ (7*025*561 байт)
моя же тулза отработала за 6мин 24 сек
потребив 76 мег озу и 72 мег свопа.
и получив файл 298723 строк
обьемом 6,62 МБ (6*943*407 байт)
афтар правь тулзу :)
своей поделюсь за плюсик в репку если кому надо 🚬

Мне кажется в данной теме это вообще никак не критично. Даже обращать внимания не стоит, а тем более оптимизировать. Зачем? Вы что тут систему реального времени разрабатываете или игру к примеру?

W
На сайте с 01.05.2006
Offline
51
wat
#9
spambot:
афтар правь тулзу :)
spambot:
посыпаю голову пеплом использовал версию 4.0.1
версия 4.1. действительно летает
буду щас свою тулзу оптимизировать до той же скорости.

довыделывался:D

Здесь палят темы (http://inetdev.ru/) / Follow me (http://twitter.com/xcrew)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий