iopiop

Рейтинг
25
Регистрация
23.12.2010

Попробуйте отключить поддержку pipelining в апаче

DenisVS:
Вам придётся освоить маршрутизацию.

Либо фаерволом закрыть

Никак не отразится

Andreyka:
По мотивам анекдота:
Они кешируются, чувак. Они кешируются.

интересно, какой идиот swap придумал? кешируются же, чувак, кешируются.

впрочем, да, закешировать метаданные можно. фейсбук кеширует. для этого им пришлось

а) разработать свою Key-Value базу - да-да, никаких директорий, плоский индекс

б) ставить 16-32 гиг на сервер чтобы вся эта база (только метаданных) влезла в память.

http://www.facebook.com/note.php?note_id=76191543919


The typical hardware configuration of a 2U storage blade is –

* 2 x quad-core CPUs
* 16GB – 32GB memory
* hardware raid controller with 256MB – 512MB of NVRAM cache
* 12+ 1TB SATA drives

.....

In order to minimize the number of I/Os required to retrieve photos, the server keeps an in-memory index of all photo offsets in the haystack store file. At startup, the server reads the haystack index file and populates the in-memory index. With hundreds of millions of photos per node (and the number will only grow with larger capacity drives), we need to make sure that the index will fit into the available memory. This is achieved by keeping a minimal amount of metadata in memory, just the information required to locate the images.
izbushka:
iopiop, От директорий все-равно никуда не уйти: ты же не будешь хранить все 100кк юзеров в одной директории?

Как я написал выше - в базе. И директорий нет - файл-то один, и искать базы умеют ну очень быстро

Если уж это совсем невозможно, то хотя бы не увлекаться глубиной вложения

Еще один костыль - выключить Keep-Alive

Andreyka,

то что сделал ТС работать будет медленнее просто потому что открытие директории в тысячи раз медленнее чем сравнение

что-то не уверен я что мд5 хорошее решение.

что проще, открыть файл в 32К строчек и прошерстить его в поисках искомого или мд5 посчитать? сильно подозреваю что легче искать чем считать при таких исходных данных.

насчет подкаталогов тоже сомнения большие. вход в подкаталог = окрытию файла, т.е. при уровне подкаталогов = 5 реально нужно совершить открытие 5 файлов чтобы добраться до искомого.

в базе надо хранить большое количество картинок, в нереляционной. что-нибудь из серии BigTables.

Будет с параметрами если есть ссылки с параметрами

Кстати гугл советует рассказать ему о параметрах

сам автор признается - он не может доказать что доступ не был открыт какое-то время. а всего делов-то - поставить хром да поснифить трафик.

далее, стучат все тулбары, и гугловский, и алексы, и яндекса и прочая.

отсылается неперсонифицированная инфа, т.е. привязать к имени-фамилии нельзя, поэтому и не засудить.

ну и галочки надо везде снимать где говорят про "в целях улучшения работы мы будем посылать инфу".

iopiop добавил 21.10.2011 в 08:56

kievrent:
Берем попкорн и усаживаемся поудобнее? ;)

Кино кончилось, новость 3-х месячной давности 🍿

Всего: 259