В каком формате хранить данные?

foxi, 5 млн строк при выборке по айдишнику это пыль. это даже на шареде должно выполняться за доли секунды.

вы где-то конкретно накосячили. попробуйте explain.

работающий пример: 20 млн строк, несколько индексов и full text search = доли секунды на дедике с 1 cpu

Если стоят индексы, то для 5милионов записей ему понадобится максимум 23(это если мускул использует метод деления пополам) итерации для поиска нужного АйДишника. Так что это не проблема. Проблема в чем-то другом.

Dinozavr, Милованов Ю.С, сложность в том, что из базы не только читается, но и пишется/изменяется постоянно чтото.

foxi, сколько insert/update в секунду?

Выборка по ключу типа "select * from table where id= 500" должна работать моментально.

А вот выборки как "select * from table where is_enabled = 1 limit 1000,20" могут ощутимо тормозить.

Сам пытался разобраться с такой ситуацией

у меня есть на 30кк, постоянная запись (update/insert) (около 200 в секунду)

проблем совершенно нету.

у вам налицо архитектурный или логический косяк.

Да пожалуй нужно подумать над структурой данных. Похоже только у меня с mysql все тормозит )

Из все того же личного опыта, как раз Ваш вариант, кроме того что база не маленькая, еще 100 и более одновременных потоков запущено, которые постоянно обращаются к базе. В секунду до 3к коротких запросов. Какое-то заметное влияние на скорость выборки они не оказывают.

Если будет желание, восстанавливайте базу на MySQL и все вместе, думаю разберемся в чем дело.

---------- Добавлено 06.03.2013 в 20:15 ----------

Если у Вас запрос в том виде, что по ссылке, то, думаю, ORDER BY тормозит процесс, или, как вариант, большой объем данных передается по сети, если база и клиент физически находятся не на одном сервере, а на это необходимо время (сорри за оффтоп)