varnish

Или использовать кеш ОС или скрипт городить.

или я уже предлагал третий вариант. но alw ведь типа админ. заказчиком быть западло :)

Третий вариант понятен, приедет ssd - попробуем )

А вот заказчиком быть не западло, да. В тех темах где понимаю, что однозначно "не осиляю".

alw добавил 21.11.2011 в 06:28

Похоже что в моем случае кеш ОС не эффективен - судя по замерам даже частокачаемые файлы очень быстро из него вылетают. Посему нагородил скрипт+tmpfs - стало явно лучше. Andreyka, спасибо за идею. Как с тем колумбовым яйцом, она вроде очевидная - но не сразу в голову приходит )

У меня кеш ос вполне эффективен

Ну таки наверное разная нагрузка.

У меня лежит 100гб файлов размером от 10мб до 1гб.

В теории top10 скачиваемых файлов вполне помещаются в объем памяти, занимаемой кешем.

Для проверки, в кеше ли файл, беру наиболее часто мелькающий за последнюю пару минут в логах файл размером 200-300 мб, и пробую

dd if=/path/to/file of=/dev/null bs=16M

и наблюдаю скорость чтения порядка 70мб/сек.повторив эту операцию несколько раз подряд наблюдаю что файл полностью отдается из кеша - скорость чтения составляет гигабайты в секунду. пробую через пару минут - при том что файл вполне себе скачивается время от времени - скорость чтения опять упала до 70мб/сек. Из чего делаю вывод, что файл из кеша вымылся, и общий объем кеша в 4-5 гб в моем случае не эффективен.

Где ошибка в рассуждениях?

В настройках кеширования ОС или в неправильном выборе ОС для кеширования.

А может памяти тупо мало.

Ну OS менять тут явно не хочется. Памяти мало для кеша - да, похоже. Доставлю, потестирую.

Так сходу рукояток, что бы крутить параметры политики файлового кеша в линуксе не нахожу. Возможно плохо ищу.

Мда, с такой подписью и выдавать такое... sysctl/vm/ читать до полного просветления.

Ну уж не надо совсем за школяра то принимать. Вдумчиво прочитано было.

Параметры, что бы крутить кеш на запись - есть. Параметры определяющие сколько отдавать под кеш из свободной памяти - тоже есть. Параметров регламентирующих работу с закешированными считанными данными не вижу.

Невнимательно читал значит