Достигнут предел ресурсов процессора для вашего сайта

12
Gonchar-web
На сайте с 23.02.2022
Offline
70
677

В последнее время вылетает несколько раз за день - Достигнут предел ресурсов процессора для вашего сайта. Увидел большое количество запросов к файлу  index.php. Основная нагрузку во время превышения от  проксирующих ботов YandexBot и AppleWebKit. Решил прописать в robots.txt:

User-agent: YandexBot

Crawl-delay: 2.0

User-agent: AppleWebKit

Crawl-delay: 2.0

В связи с этим несколько вопросов:

1. Правильно ли я прописал директиву  Crawl-delay?

2. Это поможет снизить нагрузку на хостинг или лучше взять +1 CPU на услугу?

3. Не скажется ли это негативно на индексации сайта или ранжировании?

Всем кто ответит большое спасибо, т.к. сам не очень силен в этих настройках. 

Samail
На сайте с 10.05.2007
Offline
361
#1
Samail
На сайте с 10.05.2007
Offline
361
#2
Gonchar-web :
от  проксирующих ботов YandexBot и AppleWebKit

YandexBot индексирующий,  AppleWebKit вообще не бот.

Лучше по ip проверить действительно ли там  YandexBot  был.

Gonchar-web :
или лучше взять +1 CPU на услугу?

Или хостинг другой или сайт оптимизировать...

yodda
На сайте с 22.03.2017
Offline
174
#3
Gonchar-web :

В последнее время вылетает несколько раз за день - Достигнут предел ресурсов процессора для вашего сайта. Увидел большое количество запросов к файлу  index.php. Основная нагрузку во время превышения от  проксирующих ботов YandexBot и AppleWebKit. Решил прописать в robots.txt:

User-agent: YandexBot

Crawl-delay: 2.0

User-agent: AppleWebKit

Crawl-delay: 2.0

В связи с этим несколько вопросов:

1. Правильно ли я прописал директиву  Crawl-delay?

2. Это поможет снизить нагрузку на хостинг или лучше взять +1 CPU на услугу?

3. Не скажется ли это негативно на индексации сайта или ранжировании?


1
. Да, правильно.

2. Это поможет снизить нагрузку на хостинг, но может быть недостаточно, если нагрузка будет продолжаться. В этом случае лучше добавить дополнительные ресурсы.

3. Нет, не скажется. Поисковые системы уважают директивы, указанные в robots.txt.

Ответил ИИ chatGPT ))

totamon
На сайте с 12.05.2007
Offline
437
#4
Gonchar-web :
2. Это поможет снизить нагрузку на хостинг или лучше взять +1 CPU на услугу?

если не поможет то взять надо

Gonchar-web :
3. Не скажется ли это негативно на индексации сайта или ранжировании?

скажется, да просто посетителей теряете...

что за движек? кеширование используете?

Домены и хостинг https://8fn.ru/regru | Дедик от 3000р https://8fn.ru/73 | VPS в Москве https://8fn.ru/72 | Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno | ХОСТИНГ №1 РОССИИ https://8fn.ru/beget
alaev
На сайте с 18.11.2010
Offline
700
#5
Перед ddos так бывает :)
Лучше всего воткнуть бесплатный cloudflare и поубивать все хостинги, которые обращаются к сайту.
Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
W1
На сайте с 22.01.2021
Offline
289
#6
yodda #:
Ответил ИИ chatGPT ))

Оно заметно, судя по ерунде, написанной в том ответе.

Мой форум - https://webinfo.guru –Там я всегда на связи
W1
На сайте с 22.01.2021
Offline
289
#7
Gonchar-web :
Правильно ли я прописал директиву  Crawl-delay?

Это не имеет значения, потому что это ненужное действие.

Gonchar-web
На сайте с 23.02.2022
Offline
70
#8
Samail #:

YandexBot индексирующий,  AppleWebKit вообще не бот.

Лучше по ip проверить действительно ли там  YandexBot  был.

Да, проверил по IP, именно  YandexBot  ходит часто

Gonchar-web
На сайте с 23.02.2022
Offline
70
#9
webinfo #:

Это не имеет значения, потому что это ненужное действие.

А что посоветуете?

angel57
На сайте с 01.04.2014
Offline
155
#10
С 18 года уже яша не юзает эту директиву, вот новость https://webmaster.yandex.ru/blog/skorost-obkhoda-ili-ob-izmeneniyakh-v-uchete-direktivy-crawl-delay
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий