Уменьшение длины MD5

Ayavryk, во первых iMacros - это прогрессивное и современное ПО ;) (аддон к ФФ от March 28, 2013)

Во вторых (я уверен ;)) siv1987 отвечал на заявление:

ну и выше по контексту. Что, в общем-то, к иМакросу не имеет отношения.

Сорри. Это из _моего_ далекого прошлого :)

Но тем не менее, если приблуда уже есть, то вопрос о записи на диск не стоит. И очень вероятно что задача м.б. выполнен более эффективно - без того чтобы читать-писать большие файлы и урезать ради экономии мд5-ключи.

По бинарные файлы - Речь ведь шла юзать текстовый файл вместо БД, нерационально. JS умеет работать с БД. Опосредованно через WEB-Storage в броузере или напрямую через дополнительный софт.

Судя по всему, экономия происходит( произойдет) за счет времени исполнения. Так, по крайней мере, думает ТС.

А так ли?

Ayavryk, ну перечитай топик. ТС, по-моему, внятно объяснила, почему это для нее критично.

Chukcha, все верно. Экономия всего 0.5 секунды на одной итерации скрипта увеличит общую эффективность проекта более чем на 10%. Другими словами, на данный момент скрипт обрабатывает 100 тыс. входящих сообщений в сутки. После оптимизации работы с кэшем он сможет обрабатывать около 110 тыс. сообщений. Направление основной оптимизации уже выбрано - это разбиение общего кэша на более мелкие файлы. По возможности будет реализована работа с хэшами в бинарном виде, по предложенному уважаемым siv1987 варианту.

И я ровно о том же. Если для извлечения и _апдейта_ структурированных данных вместо БД юзают CSV больших размеров, то у меня лично возникает подозрение, что проблема не в том что данных много, а в том что они организованы криво. И кажется не у меня одного.

Обратите внимание как топикстартер решает проблему:

Имхо slavegirl изобретает свою собственную БД на CSV

Ayavryk, идеальных [универсальных] решений не бывает никогда. Разработка любого алгоритма почти всегда зависит от ситуации, в которой он будет применяться. В моем случае сохранение 5-6 Мб кэша в текстовом файле(ах) намного проще и выгоднее, чем установка и дополнительная растрата ресурсов на MySQL. Был бы размер данных 100 и более Мб, я бы не раздумывая использовала базу данных.

Сильно сомневаюсь...

Самые медленные операции - операции ввода/вывода.

Причем... прочитать строку в 10000 символов или 100000 по времени не очень значительны, есть еще понятие как буферизация.

по своей сути js - интерпретатор, и он не делает преобразования в байткод, а выполняет строку за строкой, каждый раз ее интерпретируя.

так как на клиентской стороне работает стороннее приложение (iMacros), то может быть проще и быстрее наваять что-либо на java, или же :) заюзать IE и использовать vbs-скрипты, включив поддержку.

Можно также заюзать и другие скриптовые языки (tcl/tk) установив необходимый плагин

---------- Добавлено 05.08.2013 в 11:24 ----------

для небольших баз можно и sqlite заюзать, тем более, что FF его и использует

Ну начал ты совсем не о том :) Яваскрипт, бинарники.. И вообще какая разница чей сайт(ы), если задача полностью клиентская.

Не, ну в общем случае конечно. При таких объёмах выборок БД предпочтительней файлов. Но по условиям задачи (из-за иМакроса) нужно юзать файлы.

Кстати slavegirl, мб действительно стоит отвлечься от иМакроса и посмотреть в сторону абсолютно других решений, где будет юзаться база?
Начиная софта типа зеннки\хуманэмулятора и заканчивая самописным десктоп-ПО

Chukcha, нет смысла переносить проект на другой язык и делать полную реорганизацию. Все прекрасно работает уже полтора года. Просто пришло время небольшой доработки и, следовательно, мелких оптимизаций.

Менять платформу, подключать БД я начну, будучи уверенной, что данные действия повысят общую эффективность минимум в 2-3 раза. Долго объяснять, но просто вся работа уже настроена под iMacros. На замену всего с нуля уйдет слишком много времени, и оно того не стоит.

Только что вспомнила, что с Javascript я уже работаю более 1,5 года (в одном из предыдущих сообщений написала, что менее года). Вот время быстро летит...