varnish

A
На сайте с 14.11.2011
Offline
34
alw
3309

Этой штукой кто-нить пользовался? (http://varnish-cache.org)

Говорят, что она эффективно кеширует статические файлы в памяти, чем разгружает disk io и повышает производительность. А я сейчас на одном проекте уперся как раз в диски. Nginx раздает много больших файлов. Гигабитный канал занят на 50-60%, порядка 1000 коннектов, два винта в зеркале забиты в полку, в пике la доростает до неприличных значений.

(Вопрос не про то, как ограничить число подключений/скорость отдачи.)

Администрирование linux, windows (/ru/forum/671883) icq 4831950
Andreyka
На сайте с 19.02.2005
Offline
822
#1
alw:
Этой штукой кто-нить пользовался? (http://varnish-cache.org)
Говорят, что она эффективно кеширует статические файлы в памяти, чем разгружает disk io и повышает производительность. А я сейчас на одном проекте уперся как раз в диски. Nginx раздает много больших файлов. Гигабитный канал занят на 50-60%, порядка 1000 коннектов, два винта в зеркале забиты в полку, в пике la доростает до неприличных значений.

(Вопрос не про то, как ограничить число подключений/скорость отдачи.)

Помести файлы на tmpfs

Не стоит плодить сущности без необходимости
V
На сайте с 05.08.2007
Offline
87
#2
alw:

Говорят, что она эффективно кеширует статические файлы в памяти, чем разгружает disk io и повышает производительность. А я сейчас на одном проекте уперся как раз в диски. Nginx раздает много больших файлов

Оно?

хочется оптимизировать систему
так, что-бы она жрала всю доступную оперативную память под файловый кэшь
и минимально обращалась к диску.

http://forum.nginx.org/read.php?21,202591

С уважением, Victor (http://adm-lib.ru)
V
На сайте с 25.07.2006
Offline
128
#3
alw:
А я сейчас на одном проекте уперся как раз в диски. Nginx раздает много больших файлов. Гигабитный канал занят на 50-60%, порядка 1000 коннектов, два винта в зеркале забиты в полку, в пике la доростает до неприличных значений.

Система обычно достаточно разумно кеширует файлы. Была бы память... ;)

Лично у меня обычных сата-винтов хватает чтобы отдавать практически полный гигабитный канал в 1-2 тысячи коннектов.

Вы винты смотировали с noatime, nodiratime?

А varnish совсем для другого предназначен - он кеширует страницы, на генерацию которых сервер тратит слишком много процессорного времени.

Приватный linux-администратор
N
На сайте с 06.05.2007
Offline
419
#4

проанализируй для начала разброс скачиваний файлов. если памяти для кеширования средствами ОС не хватает , то и с varnish не хватит.

vapetrov:
Лично у меня обычных сата-винтов хватает чтобы отдавать практически полный гигабитный канал в 1-2 тысячи коннектов.

это если все одновременно смотрят например, последнюю серию сериалов сразу после выхода.

Кнопка вызова админа ()
A
На сайте с 14.11.2011
Offline
34
alw
#5
Andreyka:
Помести файлы на tmpfs

Все 100gb ?

alw добавил 20.11.2011 в 17:13

vapetrov:
Система обычно достаточно разумно кеширует файлы. Была бы память... ;)
Лично у меня обычных сата-винтов хватает чтобы отдавать практически полный гигабитный канал в 1-2 тысячи коннектов.
Вы винты смотировали с noatime, nodiratime?

Да, разумеется.

alw добавил 20.11.2011 в 17:15

netwind:
проанализируй для начала разброс скачиваний файлов. если памяти для кеширования средствами ОС не хватает , то и с varnish не хватит.

Ну суммарный объем разброс скачиваемых файлов явно больше размера ОЗУ.

N
На сайте с 06.05.2007
Offline
419
#6
alw:
Ну суммарный объем разброс скачиваемых файлов явно больше размера ОЗУ.

Слишком уж поверхностный анализ.

точно скажу : раз диск так сильно занят, то значит не хватает кеша.

Кроме дальнейшего увеличения ОЗУ и дисков в raid, можно еще соорудить кеширующий чтение достаточно большой ssd-диск. Это не очень популярная техника, но могу вам настроить.

A
На сайте с 14.11.2011
Offline
34
alw
#7
netwind:
Слишком уж поверхностный анализ.
точно скажу : раз диск так сильно занят, то значит не хватает кеша.

Это понятно. Собсно я и varnish нашел когда гуглил на тему настройки кеширования.


Кроме дальнейшего увеличения ОЗУ и дисков в raid, можно еще соорудить кеширующий чтение достаточно большой ssd-диск. Это не очень популярная техника, но могу вам настроить.

До этой мысли тоже додумался, ssd диск заказан, на неделе придет - попробую.

Кешируем так же nginx'ом, разместив его кеш на ssd ?

alw добавил 20.11.2011 в 17:59

Спасибо за ссылку, почитал с интересом.

Но не то - у меня честно уже и так вся свободная память выедается под системный кеш.

N
На сайте с 06.05.2007
Offline
419
#8
alw:
Кешируем так же nginx'ом, разместив его кеш на ssd ?

нет. гораздо интереснее.

возня с настройкой nginx, его кешем, написанием программ и ошибками в этих программах исключается

Andreyka
На сайте с 19.02.2005
Offline
822
#9
alw:
Все 100gb

Нет, только самые популярные, которые дают 80% нагрузки.

A
На сайте с 14.11.2011
Offline
34
alw
#10
Andreyka:
Нет, только самые популярные, которые дают 80% нагрузки.

Ну так сегодня популярны одни, завтра другие... Скрипт городить?

Да и я как то надеюсь, что система сама их в кеше держит, благо судя по free кеш составляет 4-5гб.

А есть ли какой либо способ узнать что именно сейчас закешировано системой? Какой процент хитов в кеш?

alw добавил 20.11.2011 в 19:12

Таки провел эксперимент, поставив varnish перед nginx и дав ему 4gb памяти для кеша. Стало явно хуже, чем с голым nginx. Вычеркиваем )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий