Увеличение лимита в 32К подкаталогов

I
На сайте с 23.12.2010
Offline
25
#51
Andreyka:
По мотивам анекдота:
Они кешируются, чувак. Они кешируются.

интересно, какой идиот swap придумал? кешируются же, чувак, кешируются.

впрочем, да, закешировать метаданные можно. фейсбук кеширует. для этого им пришлось

а) разработать свою Key-Value базу - да-да, никаких директорий, плоский индекс

б) ставить 16-32 гиг на сервер чтобы вся эта база (только метаданных) влезла в память.

http://www.facebook.com/note.php?note_id=76191543919


The typical hardware configuration of a 2U storage blade is –

* 2 x quad-core CPUs
* 16GB – 32GB memory
* hardware raid controller with 256MB – 512MB of NVRAM cache
* 12+ 1TB SATA drives

.....

In order to minimize the number of I/Os required to retrieve photos, the server keeps an in-memory index of all photo offsets in the haystack store file. At startup, the server reads the haystack index file and populates the in-memory index. With hundreds of millions of photos per node (and the number will only grow with larger capacity drives), we need to make sure that the index will fit into the available memory. This is achieved by keeping a minimal amount of metadata in memory, just the information required to locate the images.
Andreyka
На сайте с 19.02.2005
Offline
822
#52

Но у ТС пока только один сервер.

Не стоит плодить сущности без необходимости

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий