Вопрос по заголовку Last-Modified

https://last-modified.com/ru/

Здесь проверьте.

Да пофиг, для 30 страниц. А 30000 страниц там скорее всего никогда не будет, потому что

Так я для этого шаблон сайта сделал полностью на "php-Includes", шаблон полностью разбит на отдельные блоки (шапка, подвал, меню, иные статические/сквозные элементы по всему сайту), иными словами меняя какой-то пункт меню или шапку сайта в одном файле, эти изменения автоматически применяются ко всему сайту, будь там хоть 30 000 страниц. Именно потому я не стал делать сайт на исходных .html страничках, а сделал его на .php страницах, используя в дальнейшем по мере роста сайта возможности языка РНР.

Те же "PHP Инклуды" хорошо мне сейчас облегчают жизнь, плюс другие полезные плюшки от использования именно платформы РНР, а не голой .html статики. Потому, почему вы считаете, что там не будет 30 000 страниц? Неужели использование сторонней CMS (типа Joomla, Drupal, WordPress, DLE...) является "краеугольным камнем" для роста сайта в будущем? Неужели нельзя сделать достойный сайт, если вообще отказаться от сторонних CMS и использовать только и исключительно собственные познания в таких технологиях, как "HTML/CSS - JavaScript - PHP" ? Вопрос не риторический, мне действительно интересно, почему некоторые мои коллеги по веб-разработке так категорично утвеждают, что именно нужно использовать только CMS и никак иначе?

Примечание: этот сайт лично мой, сделан не на заказ, и развивать его я планирую в будущем исключительно самостоятельно (используя свои знания в сфере веб-разработки). Зачем мне в таком случае использовать стороннюю CMS для своего же собственного веб-сайта?

Мой первоначальный вопрос остаётся актуальным: если сайт будет в будущем расти, скажем, до 5 000-7 000 страниц, эти заголовки ответа сервера достаточны для его нормальной индексации от Гугла и Яндекса, или же необходимо будет что-то добавить/поменять? Каково ваше мнение? Спасибо!

Значит, на сайте есть таки CMS, самописная.

Заголовки Ваши начнут оказывать влияние только когда количество страниц достигнет существенной величины. Смысл в том, чтобы бот не лез туда, где триста лет ничего не менялось. Можете сообщить ему об этом через заголовки, можете через карту сайта.

Я бы:

1. Всеми возможными способами старался избавиться от ручного впихивания.

2. Добавил бы gzip\deflate, гуглу вроде нравиться.

3. Хранил данные в БД, при 30 страницах не так удручает, а когда будет 1001, встанет вопрос, почему я изначально не хранил в бд.

Тут вряд ли кто-то подскажет про влияние заголовков cache-control, Expires, strict-transport-security, x-frame-options, x-xss-protection на продвижение в google или yandex.

Я думаю, вы не понимаете, как работает заголовок Last-modified.

О том, как обрабатывает данную директиву Яндекс, написано в следующей публикации.

/ru/news/21486

Там также присутствует метод проверки корректной настройки Last-modified/If-modified-since с помощью инструментов Яндекса.

Немного терминологии...

Last-modified и Etag это заголовки валидаторы актуальности кеша.

Это не влияет на формирование даты в сниппете! Я думаю, что это основное заблуждение через которое веб-мастера стараются реализовать этот заголовок для динамический страниц.

Когда браузер или робот получает заголовок Last-modified от сервера, в следующий раз, клиент (браузер или робот) отправит специальный заголовок серверу - If-modified-since.

На этом поведение браузера/робота заканчивается.

Больше браузер никак не использует этот заголовок.

Клиент также может игнорировать валидаторы кеша, если кеширование страницы запрещено директивой cache-control.

После того, как сервер получил от клиента заголовок If-modified-since, он должен сравнить дату с датой в Last-modified, и если

1. Дата у клиента равна Last-modified (то-бишь, версия в кеше актуальная), он возвращает 304 Not Modified статус-код.

Тем самым, браузер или робот, может пропустить повторное скачивание страницы/файла (из-за того, что она уже присутствует в кеше/была проиндексирована ранее).

То-есть, со стороны поискового робота, это помогает сэкономить ресурсы сервера/бота/клиента и crawling budget (как вытекающее).

2. Дата у клиента старше даты Last-modified (то-бишь, версия в кеше уже неактуальная).

Сервер возвращает 200 статус-код.

Тем самым, указывает роботу/браузеру, что страницу нужно загрузить заново/переиндексировать.

Если вы не обрабатываете заголовок If-modified-since от клиента, тогда поведение браузера/робота всегда одинаковое и попадает в этот пункт.

Этот пункт характеризует работу браузера/робота без использование Last-modified директивы вообще. То-есть, она не задействована и не делает ничего.

А вы задали не совсем правильный вопрос. Им надо не только это, см ихние хелпы.

Посмотрите на это глазами писателя бота, которому надо экономить HTTP-траф.

В ваших интересах помочь боту скачивать только то, что реально изменилось/появилось... поскольку количество его обращений к сайту ограничено.

ortegas

Спасибо вам за развёрнутый ответ. Мой сервер обрабатывает заголовок "If-Modified-Since", в ответ он возвращает именно статус-код "304 Not Modified", если страница не менялась с даты, указанной в запрашиваемом заголовке. Я это заранее предусмотрел, а также всё сверил с вышеуказанным ресурсом last-modified(точка)com, всё отлично отрабатывает.

богоносец

Да, да, я понимаю этот момент. Но если представить, к примеру, что на сайте 5 тыс. страниц, достаточно ли будет роботу (поисковому боту) правильно настроенных заголовков "Last-Modified" / "If-Modified-Since" у меня на сайте? Вот в чём суть вопроса. В данный момент эти заголовки у меня настроены и работают корректно.

А к конкретной директории?)

Коллеги, ещё созрел один вопрос. Сайт у меня информационный, будет расти, но работает в данный момент на обычном старом протоколе http. Соответственно, в Гугле и Яндексе он проиндексирован именно по данному протоколу. Никогда никаких платежей на этом сайте не будет, он сугубо информационный. Максимум - это, возможно, добавлю форму обратной связи. Всё. Вопрос: стоит ли задумываться о переходе на протокол https? Мой хостер позволяет подключать бесплатный сертификат от Let's Encrypt (с автоматическим его продлением каждые три месяца). Но у меня сомнения... Стоит ли вообще мне переходить на безопасный протокол https ?

Этот вопрос у меня последний в рамках данной дискуссии, если вы на него ответите, буду крайне вам признателен. Спасибо заранее.