индексирующий робот ПС Google создает чрезмерную нагрузку на VDS

А на основе чего сделан такой вывод? Что ты сделал, чтобы определить, что это гугл?

6  VDS по миру, дешевенькие от 5 -10  баксов, сотни тысяч страниц - все в индексе.
Живут, более 15 лет, и Гугл их не грузит, ибо ему это не нужно - приходит только за новыми страницами в этот же день.

PS Конечно можно, но не нужно

думаю что замечены боты маскирующиеся под гуглбота , либо на сайта полный аврал + слабый сервак на лям гс страниц 

Ну я так же думаю, потому что ТС наверняка увидел юзерагент от гугла и сделал вывод. Если так делать, то я тоже так могу сказать, что гугл меня недавно положить пытался. Под описания ТС вполне подходит.

Вот только это был не гугл, если посмотреть чуть дальше своего носа.

На счет его сайтов думаю и так понятно. Кто видел, тот видел что у него там на php 5.2 и какой он эксперт.

Если сайты на php 5.2 полностью функциональны под возложенные на них задачи, да ещё и посещаемы так, что вас это устраивает, то лучше ничего не трогать, так как лучшее - враг хорошего.

Да мне вообще всё равно.

Мой посыл лишь в том, что его не гугл кошмарит, но он вряд ли это поймет.

При больших сайтах, кошмарит именно Гугл.  При ежедневном полном сканировании всех страниц,  бот вполне способен ежедневно убивать ваши сайты.
Чтобы этого не происходило, настраиваем  минимальное использование краулингового бюджета гугл, только для  новых, измененных  и удаленных страниц.

Т.е ваш посыл не верен. так как VDS вполне справляется с ботами

Он вторую тему создает, где ноет что его серв в потолок бьётся от нагрузки псевдо пс ботов, я бы не сказал что там все хорошо.

та мы понимает что ты хочешь впарить свои услуги😁

Ахххахах. Мега аргумент.

Не делайте большие сайты, ребят. А то вас гугл закошмарит. 🤣🤣🤣

Ты про свой заголовок Last-Modified уже всем надоел. Ты только его познал и им всем козыряешь?

Он может сохранить только трафик исходящего трафика на сервере, ну и краулинговый бюджет гугла, но это не точно. Больше ничего он не может сохранить.

Гугл передаст столько же запросов, сколько выделено сайту краулинговым бюджетом. В теории, он может оправить даже больше запросов, если этот заголовок настроен. Тут ты не понял, но я другим объясняю.

Для формирования ответа на запрос If-Modified-Since нужны такие же вычислительные мощности, обращение к базе данных и выполнение скриптов. Если верить гуглу и он его учитывает, то на каждый 304 Not Modified отправляется дополнительный If-Modified-Since, а это значит ещё большая нагрузка на вычислительные мощности сервера.

Краулинговый бюджет - экономится.

Трафик - экономится (но только исходящий).

Вычислительные мощности - нет.

На практике, это всё не имеет значения. Если сайт никак не оптимизирован, то никакие заголовки не помогут и гугл положит сайт в том или ином случае.