Уменьшение длины MD5

slavegirl, здесь мы видим только вершину айсберга, и только потому, что нам ее показали.

И ты просишь нас рассказать о подводной части даже не упомянув о ней.

Вершина айсберга облита красной краской, а подводная часть тоже красная?

Какие-то кеши, какие-то файлы, какой-то алгоритм.

Вполне может что встроенная в броузер БД даст прибавку намного больше чем в 2-3. Ввод-вывод самая ресурсоемкая вещь.

Единственный затык встроенных БД - ограничения на размеры 5-10Мб. Но в IE размер БД можно кастомно настраивать. Про другие броузеры не знаю. И наверное можно поискать плагины.

Большое спасибо за подсказку. Это даже в голову мне не приходило, что в браузере может быть своя БД...

Я же писал волшебное слово - WebStorage

---------- Добавлено 05.08.2013 в 09:09 ----------

И вот еще по поводу ограничений и скорости исполнения:

Chrome, Safari и IE не накладывают жестких ограничений для поддоменов и специально оформленный сайт может занять всё дисковое пространство. Подготовленное тестовое web-приложение способно заполнять диск с интенсивностью примерно 1 Гб в 16 секунд (Вас устроит :) ). Реализация Localstorage в Firefox по словам Feross "оказалась умнее". В Opera вопрос расширения размера localstorage оставлен на откуп пользователю.

http://www.opennet.ru/opennews/art.shtml?num=36259

Наоборот, я всегда стараюсь вести диалог именно о предмете проблемы, отклонения на "подводную часть айсберга" возникают не по моей вине. Вы должны понять, я не могу выложить здесь полный код проекта, даже если это увеличит шансы на его оптимизацию. Это коммерческий проект, и если он попадет в общий доступ, доверие моих партнеров, с которыми я сотрудничаю, ко мне может пошатнуться.

Благодарю всех участников темы, Ваши советы оказались для меня очень полезными. А именно:

1. Преобразование результата работы javascript-функции md5() к "сырому" бинарному виду.

2. Разбиение одного большого файла кэша на несколько, пусть даже тысяч (но в пределах разумного) мелких - это хорошее решение.

Но тему, думаю, стоит оставить открытой. Так как еще не было ответа на вопрос, действительно ли у разных частей MD5-хэша одной длины одинаковая вероятность коллизий. Этот ответ важен для тех, кому приходится сокращать MD5-хэш путем усечения (важно знать, какую половину выгоднее оставлять: первую или последнюю).

я бы рассмотрел CRC32, а может и CRC64

Да, стоить не забыть отметить, что в HTML5 есть возможность работать с хранилищем: http://diveintohtml5.info/storage.html

Топикстартер написал что он юзает iMacros. Т.е. через кривую прокладку навешивает левые клиентские скрипты на (свой?чужой?) сайт.

не работал с iMacros очень давно, но по воспоминаниям у него были жуткие утечки памяти и через 2-3 часа работы он вешал броузер. Без всякого ввода-вывода на диск.

Если сайт свой - зачем прокладка и сложные механизмы сохранения данных? Если чужой - тогда более-менее понятно, хотя тоже не вполне.

Короче, неизвестных в этой задаче слишком много, чтобы давать какие-то рекомендации. Но "Уменьшение длины MD5" - судя по всем очень похоже на паллиатив

---------- Добавлено 05.08.2013 в 10:05 ----------

не работал с iMacros очень давно (2007 год), но по воспоминаниям у него были жуткие утечки памяти и через 2-3 часа работы он вешал броузер. Без всякого ввода-вывода на диск.

Короче, неизвестных в этой задаче слишком много, чтобы давать какие-то рекомендации. Но "Уменьшение длины MD5" - очень похоже на палиатив.

Ты, видимо, или забыл или попутал с чем-то другим :)

Скрипты iMacrosа - это по сути эмуляторы действий юзера в браузере. "Навешивать на сайты" это что-то из другой оперы :)

Помню, это было в самых первых версиях. Я, правда, сам его оч. давно юзал, но почему-то уверен, что это пофикшено.

Никаких утечек памяти в iMacros на данный момент не было замечено, он может работать неделями / месяцами / пока свет не выключат.