индексирующий робот ПС Google создает чрезмерную нагрузку на VDS

12 3
Genius Ideaing
На сайте с 12.02.2024
Offline
104
648

Здравствуйте.

кто подскажет...

как в современных реалиях... можно ограничить число одновременных обращений в секунду индексирующего робота ПС Гугл к сайтам?

у индексирующего робота Гугл просто зашкаливающие аппетиты при доступе к сайтам... VDS на максимальном тарифе по CPU, и постоянно перегружен обращениями робота Гугл...

что можно предпринять?

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Заработок в $$$ на трафике сайта! Не РСЯ/AdSense: https://clck.ru/3REcmY / Есть Идеи! Ищу людей для совместного воплощения этих идей в Интернете! Мой Telegram: https://clck.ru/396JFF
LEOnidUKG
На сайте с 25.11.2006
Offline
1776
#1
Никак. Только сайты оптимизировать, чтобы они работали быстро.
✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Genius Ideaing
На сайте с 12.02.2024
Offline
104
#2

а ошибку выдавать через nginx

429 Too Many Requests

не поможет?

Сергей про е-ком
На сайте с 11.05.2008
Offline
344
#3
Genius Ideaing #:

а ошибку выдавать через nginx

429 Too Many Requests

не поможет?

В роботсе запрети. 

User-agent: Googlebot
Disallow: /

Корневая папка, robots.txt, вставь внутрь. 

Крутейшая тема и конструктор на WP - https://shop.greenshiftwp.com/?from=3338
Genius Ideaing
На сайте с 12.02.2024
Offline
104
#4
Сергей про е-ком #:
В роботсе запрети. 
😁

это из книжки "Вредные советы"?

зачем лечить? ампутируем... 😁

Vladimir SEO
На сайте с 19.10.2011
Offline
2063
#5
Genius Ideaing :
можно ограничить число одновременных обращений в секунду индексирующего робота ПС Гугл к сайтам?

все что есть это вот https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate?hl=ru 

Genius Ideaing #:
429 Too Many Requests
как раз там описан этот вариант
Как снизить частоту сканирования сайта роботами Google | Центр Google Поиска  |  Documentation  |  Google for Developers
Как снизить частоту сканирования сайта роботами Google | Центр Google Поиска  |  Documentation  |  Google for Developers
  • developers.google.com
Инфраструктура сканирования Google использует сложные алгоритмы, позволяющие определить оптимальную частоту сканирования того или иного сайта. Мы стремимся к тому, чтобы наша система обрабатывала как можно больше страниц на вашем сайте за один сеанс, не оказывая излишней нагрузки на сервер. В некоторых случаях сканирование вашего сайта роботами...
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
Search Google
На сайте с 14.01.2017
Offline
152
#6
Для начала современный php поставь, а не 5.0 как у тебя.
Vladimir SEO
На сайте с 19.10.2011
Offline
2063
#7
Search Google #:
Для начала современный php поставь, а не 5.0 как у тебя.
там надо менять все - от диза и цмс до админа и манагара продукта, увы полная печаль 
P
На сайте с 17.08.2025
Offline
8
#8
Genius Ideaing :

Здравствуйте.

кто подскажет...

как в современных реалиях... можно ограничить число одновременных обращений в секунду индексирующего робота ПС Гугл к сайтам?

у индексирующего робота Гугл просто зашкаливающие аппетиты при доступе к сайтам... VDS на максимальном тарифе по CPU, и постоянно перегружен обращениями робота Гугл...

что можно предпринять?

Может клоудфлейр как модуль для движка сайта поставить? Или сами пишите в пхп чтобы напр обрабатывать запрос если юзер агент гугль бот напр раз в сек или менее. 

Vladimir
На сайте с 07.06.2004
Offline
622
#9
Genius Ideaing :

что можно предпринять?

лечиться этим https://last-modified.com/
Нет никаких чрезмерных нагрузок на VDS от ботов ПС

Search Google #:
Для начала современный php поставь, а не 5.0 как у тебя

Пофиг, что у тебя стоит. Все пашет без перегрузок.


Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
minsky
На сайте с 01.09.2012
Offline
223
#10
Vladimir #:


Нет никаких чрезмерных нагрузок на VDS от ботов ПС


Еще как есть, можно спокойно слабенький сервер положить, если направить кучу мгновенных ботов через google indexing

Продвигаю сайты ссылками, ускоряю индексацию сайтов и отдельных страниц ( https://kwork.ru/user/minsky?ref=23382 )
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий