Вопросы гуру по Яше

123 4
W
На сайте с 19.06.2006
Offline
142
5659

Итак. В связи со свежеиспеченным апом появились вопросы, которые возникли по ходу прочтения топика по сабжу. Думаю, ответы будут интересны не только мне.

Список вопросов:

-Что такое кеш? Ответа, доступного мне для понимания не нашел.

-Как Вы отличаете "апдейт" от "движения в кеше"?

-В связи с чем может "колбасить кеш"?

Заранее благодарю за ответы. Только просьба: если можно - попроще. Ок? :)

Макетчик, поправил, если так правильнее :)

albion
На сайте с 07.10.2005
Offline
247
#1
wayly:
Список вопросов:
-Что такое хэш? Ответа, доступного мне для понимания не нашел.
-Как Вы отличаете "апдейт" от "движения в хэше"?
-В связи с чем может "колбасить хэш"?

Присоединяюсь к вопросам. Но только наверно не хэш, а кеш

P.S. У меня вопросы отпали, т.к. wolf ответил в соседнем топике. ( /ru/forum/comment/1869066 )

V
На сайте с 19.10.2006
Offline
97
#2

Я конечно не гуру по Яше, но немного прояснить попробую.

Пока думал вы уже исправили хеш на кеш :)

Не знаю по какому принципу, но некоторые страницы яндекс сохраняет на своих серверах, этот массив сохраненных страниц и называют кешем, судя по высказываниям гуру эти страницы тоже влияют на релевантность выдачи, правда мне не извесно каким образом :(

А колбасить его может по разным причинам, тупо отвалился кластер на котором хранилась часть данных, обновление этих самых закешированных страниц и т. п.

поправка после чтения поста wolf, похоже я напутал кеш выдачи и кеш документов, блин как много еще изучать :)

mustafa
На сайте с 28.10.2005
Offline
202
#3
wayly:
Заранее благодарю за ответы. Только просьба: если можно - попроще. Ок?

ок. Кэш - это сохраненая копия серпа (в данном контексте).

I
На сайте с 05.09.2005
Offline
54
#4
valdissom:
Я конечно не гуру по Яше, но немного прояснить попробую.
Пока думал вы уже исправили хеш на кеш :)
Не знаю по какому принципу, но некоторые страницы яндекс сохраняет на своих серверах, этот массив сохраненных страниц и называют кешем, судя по высказываниям гуру эти страницы тоже влияют на релевантность выдачи, правда мне не извесно каким образом :(
А колбасить его может по разным причинам, тупо отвалился кластер на котором хранилась часть данных, обновление этих самых закешированных страниц и т. п.

поправка после чтения поста wolf, похоже я напутал кеш выдачи и кеш документов, блин как много еще изучать :)

Да, только хотел поправить. IMHO кеш выдачи формируется примерно следующим образом: во время или после окончания апдейта кеш полностью очищается.

При поступлении любого поискового запроса расчитывается релевантность документов этому запросу, документы ранжируются, и результаты выдаются пользователю. При этом результаты рассчетов - выдача - по этому запросу сохраняется в кеш.

Второй раз при поступлении такого же запроса новых расчетов не происходит, а пользователю сразу выдается содержимое кеша.

Таким образом снижается нагрузка на вычислительные мощности яндекса - одно и тоже не приходится пересчитывать миллионы раз.

Обновляться часть кеша может также при переполнении дискового пространства, которое отведено под кеш. Ну и конечно кеш может обновляться в результате каких-либо технических неполадок, либо по команде "сверху" от работников яндекса :)

I
На сайте с 05.09.2005
Offline
54
#5
wayly:
В связи с чем может "колбасить кеш"?

В этом контексте "колбасить кеш" может по нескольким причинам.

1. Неисправен сам кеш - например что-то с накопителями, либо неверно функционирует база данных.

2. Кеш получает недостоверные данные - например не все датацентры яндекса постоянно доступны, в результате кеш получается неправильным по части запросов

3. Закешированная выдача не нравится по каким-то причинам сотрудникам яндекса, и они вынужденны постоянно "сбрасывать" кеш. Этот пункт может вытекать из 1 и 2 пунктов.

Возможны еще какие-то причины, это первое, что пришло на ум...

V
На сайте с 19.10.2006
Offline
97
#6
Igorx:
Да, только хотел поправить.

Очень доступно, спасибо за разъяснение.
А как по вашему мнению, кешируются все запросы или только наиболее частые.
Думаю логичнее кешировать не все а только ВЧ запросы, но тогда должен быть порог с которого начинается кеширование, есть у кого то опыт на основе которого можно прикинуть значение этого порога?
mustafa
На сайте с 28.10.2005
Offline
202
#7
valdissom:
есть у кого то опыт на основе которого можно прикинуть значение этого порога?

а оно тебе надо?

valdissom:
Думаю логичнее кешировать не все а только ВЧ запросы

неправильно ты думаешь. Низкочастотка как раз и дает основную нагрузку.

I
На сайте с 05.09.2005
Offline
54
#8
valdissom:
Igorx:
Да, только хотел поправить.

Очень доступно, спасибо за разъяснение.
А как по вашему мнению, кешируются все запросы или только наиболее частые.
Думаю логичнее кешировать не все а только ВЧ запросы, но тогда должен быть порог с которого начинается кеширование, есть у кого то опыт на основе которого можно прикинуть значение этого порога?

Точно сказать не могу, могу лишь высказать свое мнение. Я думаю, что кешируются все запросы. А вот в алгоритме очистки кеша при заполнении дискового пространства возможно и учитывается "частотность" запроса.

V
На сайте с 19.10.2006
Offline
97
#9
mustafa:
а оно тебе надо?
неправильно ты думаешь. Низкочастотка как раз и дает основную нагрузку.

Так а зачем кешировать НЧ, если время и мощности затраченные на запрос выдачи и кеширование редкого запроса сопоставимы с временем и мощностью затраченными на запрос выдачи без кеширования?

Если только сохранять кеш для НЧ на более долгий срок, чем для ВЧ.

Или я не так понимаю механизм кеширования и его смысл?

di_max
На сайте с 27.12.2006
Offline
262
#10

В заголовках ответа мне вот что глянулось:

Server: Apache/1.3.29 (Unix) mod_perl/1.29
Cache-Control: private, max-age=3600
// Все наши проблемы от нашего не знания...
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий