Большое количество данных - как лучше хранить?

Запихать массив с данными в разделяемую память.

Можно написать на С демона, который будет держать данные в массиве в памяти.

Но этот путь довольно сложный и браться за него нужно в последнюю очередь, только если другие способы с использованием баз данных не дали эффекта.

Я так обычно и поступаю. Час работы. Но не все знают С и умеют демоны писать :( так что лучше разделяемая память :2cents:

Лучше - сначала понять задачу, а потом её решать. И никак не наоборот.

Задача поставлена в первом сообщении.

можно попробовать, самый простой и быстрый Бинарный поиск, НО только если данные отсортированные!

меня просили такой написать для файла в 10Гиг

правда у ТС не много больше миллиона значений, по этому может быть будет критично

я бы попробовал еще, Квантовый Алгоритм Гровера, если будут много платить :) (шутка)

такой алгоритм применяли в поиске по неупорядоченной базе в 500Тб

ЗЫ: есть готовые решения и задача ТС не полностью описанная

Просто ради проверки моего KИ: в чём состоит проблема ТС?

Ему делать нечего. В этом проблема. При таких объёмах всё работает быстро.

апгрейд железа должен помоч или распределение нагрузки на двоих и >

мукуль умеет с коробки типы таблиц HEAP - это в памяти будет. так что городить не надо ничего и по идее раз ничего не апдейтится постоянно,то хиты в кэше должны приближаться к 99.99 % - посмотрите по майтопу что там.

может кэш выключен?