GPT бот полез сканировать сайт, порушив нагрузку на CPU

12
Genius Ideaing
На сайте с 12.02.2024
Offline
125
#11
Мужик Мурманский #:

User-agent: GPTBot

Disallow: /search/

Disallow: /ajax/

Disallow: /*?


User-agent: OAI-SearchBot

Disallow: /search/

Disallow: /ajax/

Disallow: /*?

не слушаются эти краулеры этих директив

их блочить только по АйПИ или через user-agent в .htaccess

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Мощный хостинг: https://clck.ru/3DKmVu / Есть Идеи! Ищу хороших людей для реализации этих идей! Мой Telegram: https://clck.ru/396JFF
Rustam .0.
На сайте с 09.07.2025
Offline
19
#12
Если полностью заблочите обоих ботов, то сайт вообще пропадет из ответов гпт, а оттуда сейчас идет неплохой трафик. Лучший варик  резать им скорость на уровне сервера, а не запрещать доступ целиком
Rustam .0.
На сайте с 09.07.2025
Offline
19
#13
truebusiness #:

А вообще если по теме - неужели от одного ChatGPT ваш сервер может упасть)) У вас что нагрузка там впритык прям. 

Упасть может любой сервер, если бот начнет дергать динамические страницы, в таком случае каждая страница генерируется заново, убивая базу данных
Slav_on
На сайте с 31.08.2025
Offline
28
#14
Rustam .0. #:
Упасть может любой сервер, если бот начнет дергать динамические страницы, в таком случае каждая страница генерируется заново, убивая базу данных
Если его настраивал рукажоп! Любой админ с интеллектом буханки хлеба прекрасно знает как блокировать чрезмерное число запросов от отдельного IP или подсети.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий