Браузерное или пользовательское кеширование

Да, бред написал. Прошу прощения. Я имел ввиду html-сущности, генерируемые движком.

А я как раз считаю, что обязательно должно быть настроено кеширование. И никаких потому что =) По крайней мере, если речь идет об информационном сайте. И даже не столько кеширование, сколько правильное содержимое заголовков Last-Modified и If-Modified-Since, т.к. этого требует Яндекс.

Но я об этом писал в первом сообщении темы.

Предлагаю его настроить.

---------- Добавлено 29.11.2015 в 23:12 ----------

Я имел ввиду не статику, а отсутствие Last-Modified у динамики. Не знаю, почему в моей голове html-сущности превратились в html-файлы.

Действительно, заголовки, связанные с кешированием, неплохо настроены для статики хостерами по-умочанию. Хотя, можно было бы и лучше.

Но давайте возьмем движок WordPress, на котором работает огромное количество сайтов. Html-сущности там не отдают нужных заголовков. Даже если забить на кеширование (не знаю, почему все так хотят на него забить), Яндекс основывается на этих заголовках.

Клиентское кеширование и возможные проблемы, которые могут возникнуть при непонимании принципов его работы, вопрос серьезный. И поэтому я написал статью, создал этот топик. И призываю всех не думать, что Apache все настроит там как-то за вас. Видел я сайты, на которых главная страница (динамическая, с анонсами свежих статей) кешировалась на продолжительный срок, что есть проблема, если не понимать как это все работает.

Покажите где он это требует?

Почему у динамических страниц с .html оно должно быть настроено а у других нет? С таким же успехом тогда можно требовать от всех страниц клиентского кеширования.

То что его нужно настроить я и так знаю. Расскажите как это сделать. Вот у меня сложная система, допустим форум, где пользователи сами генерируют контент. Сообщения на странице добавляются, удаляются, редактируются, перемещаются, контролируются и обновляются из разных функции, и что будет если где-то механизм даст сбой? Отсутствие заголовках лучше чем заголовки с устаревшей датой.

Для динамических страниц(когда инклудятся шаблоны, куски кода и иформация из БД) есть только один способ узнать устарела ли страница - сгенерить её, посчитать от неё хэш и сравнить его с хэшем, хранящимся в БД.

А если страница уже сгенерена - чего бы просто не отправить её пользователю, каналы сейчас не лимитируют.

Поэтому многие забивают болт на кэширование на стороне клиента, так проще. Плюс, кэширование не даёт сайту никаких преимуществ в глазах Яндекса.

Заголовок Last-Modified и его молочный брат lastmod из sitemap.xml помогают ускорить индексацию сайта.

Можно кешировать матрешкой, и инвалидировать кеш при изменении одной из составляющих. Это не требует повторной генерации страницы.

Генерировать заново проще - но тогда и сравнивать не надо. Раз сгенерировали - пишем новую версию в кеш и не извращаемся. Ну, или если надо поддерживать ласт-модифайд, то уже с кешированной страницей сравнивать, чего хеш вручную считать?

В Яндексе - нет, его бот перестал поддерживать LastModified (раньше - поддерживал).

Яндекс за сутки на сайте переиндексирует от 1000 до 7000 страниц, для большинства сайтов этого вполне достаточно, куда ещё ускоряться?

В Google - ускоряет только теоретически. Его бот поддерживает LastModified (304 ответ сервера на картинке ниже), но Google и так шустро всё переиндексирует.

Если вы храните страницы в кэше на сервере - то да. Только зачем их хранить в кэше, если всё-равно каждую страницу приходится генерить заново (для определения изменений).

Проще хранить хэш(хотя бы CRC32) от страниц в БД, его и сравнивать проще, чем 2 html-"портянки".

PS: Неплохо предварительно вытягивать html-код в одну строку, убирая пробелы и переносы строк между тэгами - они не влияют на контент страницы.

Откуда эта информация?

Я вижу следующий текст в хелпе Яндекса:

В подавляющем большинстве случаев вся эта обвеска типа(последние новости/комментарии, виджеты, соц. кнопки) которые "инклудятся шаблоны" - для поисковиков, что мусор.

Показателем обновления служат дата создания/обновления записи/поста - основного контента страницы. Ну, еще можно учитывать дату последнего комментария к записи. Это касается статейных сайтов. Для других сайтов типа сервисов.. вообще смысла нету либо индивидуально настраивать какое то кеширование и отдавать last-modified.

Из логов сервера для сайта, который поддерживает LastModified. В посте выше приведены картинки недавних логов ботов Яндекса и Google, у Яндекса нигде нет ответа 304 "Not Modified", у Google - есть.

Год назад 304 код светился в ответах Яндекс боту, значит он присылал заголовок If-Modified-Sinse: