Медленное открытие страниц сайта

Занялся я тут вопросом скорости загрузки моего сайта и вот что обнаружил:

При открытии первой страницы сайта wait+receive составляет около 1000мс, если сразу за ней открывать другую страницу, то wait+receive 500мс, третью - снова 500 и т.д.

Но стоит сделать короткий перерыв в открытии страниц, буквально несколько секунд, то следующая страница открывается опять wait+receive 1000-1100 мс

Таким образом, т.к. пользователи редко изучают страницу быстрее 3-5 секунд, то время отклика для всех будет wait+receive 1000-1100мс, что мне кажется очень и очень долго.

У меня win64: apache 2.2 + php 5.3 + mysql 5.6

Сайт на wordpress, впрочем на том же сервере крутится сайт на joomla и он ведет себя точно так же, первая страница долго, следом за ней быстро.

Прикрутил xcache, настроил кеширование в мускуле, уже не знаю куда копать.

Метрики снимал firebug'ом, но tools.pingdom.com показывает аналогично 1000мс

Есть у кого-нибудь идеи, что еще можно покрутить?