Как удержать файл в оперативной памяти?

Зависит от конкретной задачи, помимо более гибкой и быстрой выборки по ключам, часто запрашиваемые данные вполне будут жить всегда в cache, если правильно настроить сам mysql сервер конечно и позволяет объем оперативной памяти.

Поиск в базе данных осуществляется не путем перебора всех строк из таблицы, а при помощи индексов.

Индекс представляет из себя RB или АВЛ дерево.

Кол-во операций считывания для поиска в таком дереве приблизительно = log(N) где log = двоичный логарифм, а N кол-во записей в таблице.

То есть найти нужную запись в таком дереве из таблицы с 4 000 000 000 записями можно примерно за 32 операции считывания (реально конечно больше, так как дерево не идеально, но не намного относительно размерности N).

Вот и думайте из воздуха БД читает или откуда еще...