Где лучше хранить кэш?

а мне кажется, что систему кэша менять нужно.

у вас 4 млн записей не используются же каждый день?

При правильеой настройке mysql сервера и базы будет работать очень быстро.

Если все-таки не устраивает, тогда в memcache или на диске с файловой системой ReiserFS (Linux) / UFS (Freebsd).

Вот рассматривается ситуация если будут использоватся 4 000 000 каждый день, если же нет, то будет меньше записей, но от этого если выбрать способ который подходит под 4000 000 при меньшем количестве не произойдет я думаю критических ситуаций с производительностью.

В чем разница между ReiserFS и ext3?

По поводу мемкэтч) пока, что сервер один, будет больше серверов можно будет больше хранить данных в мэмкэч, сейчас не оптимально хранить больше 2000 записей размером от 50кб в мэмкетч. В мэмкетч попадают только наимболее часто используемые. А остальные будут использовватся возможно один раз в день! Или максимум по несолько раз. Но с большим потоком.

Очень высокая скорость работы при наличии большого количества мелких файлов в одном каталоге.

Кеш хранить в файл-блоках, со структурой /dir/subir/block

В файл-блок идут много мелких объектов, со смещением или один большой

А еще, если это сайт, то кешировать можно на уровне web-сервера nginx/squid/etc

а что если организовать директории в виде 200 в третей степени. то есть на верхнем уровне 200 директорий в каждой еще по 200 и в каждой по 200 файлов. получится в директории не очень много файлов. А в базе только путь хранить, проиндексировав ключ, будет дочтаточно быстро находить путь. В сотни раз быстрее чем если бы хранить в базе текстовые поля по 50 кб, как, кто на такой вариант смотрит?

Деление на директории ничего не даст. Вы же лично не будете их просматривать?

Пути можно хранить в базе, главное индексы расставить, чтобы был быстрый поиск.

Попробуйте реализовать вложенность такую:

$md5 = md5(имя_файла);

/cache/substr($md5, 0, 1)/.../substr($md5, N, 1)/$md5

N можете прикинуть сами, на каждом таком уровне вы получите деление на 256 подкаталогов. Но с таким количеством не забывайте про Коллизии

Вполне рабочий вариант, особенно если базу держать в чем-то быстром, типа redis.

Тут вон mysql обещает сделать memcached-подобный интерфейс. Может через пару лет все начнут понимать, что это не mysql тормозной, а программисты в SQL не разбираются.