GPT бот полез сканировать сайт, порушив нагрузку на CPU

12
Genius Ideaing
На сайте с 12.02.2024
Offline
117
#11
Мужик Мурманский #:

User-agent: GPTBot

Disallow: /search/

Disallow: /ajax/

Disallow: /*?


User-agent: OAI-SearchBot

Disallow: /search/

Disallow: /ajax/

Disallow: /*?

не слушаются эти краулеры этих директив

их блочить только по АйПИ или через user-agent в .htaccess

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Заработок в $$$ на трафике сайта! Не РСЯ/AdSense: https://clck.ru/3REcmY / Есть Идеи! Ищу единомышленников для совместного воплощения этих идей в Интернете! Мой Telegram: https://clck.ru/396JFF
Rustam .0.
На сайте с 09.07.2025
Offline
16
#12
Если полностью заблочите обоих ботов, то сайт вообще пропадет из ответов гпт, а оттуда сейчас идет неплохой трафик. Лучший варик  резать им скорость на уровне сервера, а не запрещать доступ целиком
Rustam .0.
На сайте с 09.07.2025
Offline
16
#13
truebusiness #:

А вообще если по теме - неужели от одного ChatGPT ваш сервер может упасть)) У вас что нагрузка там впритык прям. 

Упасть может любой сервер, если бот начнет дергать динамические страницы, в таком случае каждая страница генерируется заново, убивая базу данных
Slav_on
На сайте с 31.08.2025
Offline
22
#14
Rustam .0. #:
Упасть может любой сервер, если бот начнет дергать динамические страницы, в таком случае каждая страница генерируется заново, убивая базу данных
Если его настраивал рукажоп! Любой админ с интеллектом буханки хлеба прекрасно знает как блокировать чрезмерное число запросов от отдельного IP или подсети.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий