GPT бот полез сканировать сайт, порушив нагрузку на CPU

12
jsmith820
На сайте с 06.03.2016
Offline
195
799

GPT бот полез сканировать сайт, порушив нагрузку на CPU.
Раньше лазил только по важным страницам, а теперь по всем тыщам страниц каталога попёр.
Кто знает, он разово проходит, и потом всё. Или теперь, если не заблочить, будет постоянно по ним шастать, и CPU напрягать?
😈

Анти БОТ
На сайте с 14.03.2020
Offline
136
#1
jsmith820 :

Кто знает, он разово проходит, и потом всё. Или теперь, если не заблочить, будет постоянно по ним шастать, и CPU напрягать?
😈

Это только начало, как говорится, пока что цветочки.
Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
softerra
На сайте с 02.10.2023
Offline
123
#2
jsmith820 :

Раньше лазил только по важным страницам, а теперь по всем тыщам страниц каталога попёр.

Что мешает его полностью заблокировать?
T
На сайте с 26.04.2018
Offline
104
#3
jsmith820 :

GPT бот полез сканировать сайт, порушив нагрузку на CPU.
Раньше лазил только по важным страницам, а теперь по всем тыщам страниц каталога попёр.
Кто знает, он разово проходит, и потом всё. Или теперь, если не заблочить, будет постоянно по ним шастать, и CPU напрягать?
😈

Наверняка это хорошо, разве нет? Вдруг ваш сайт начнет чаще цитировать.

А вообще если по теме - неужели от одного ChatGPT ваш сервер может упасть)) У вас что нагрузка там впритык прям. 

Badmaestro
На сайте с 11.07.2008
Offline
270
#4
Интересно будет узнать в дальнейшем, повлияло ли это на трафик из Чата.
SEO без воды ( https://kupit-slona.ru ) Продвижение сайтов ( https://searchengines.guru/ru/forum/1038146 ) Аренда грузинского Adsense ( при доходе от 1000$ в мес. Adsense активирован, выплаты идут. )
Анти БОТ
На сайте с 14.03.2020
Offline
136
#5

Считается, что чат дает 1 переход на 1700 сканирований. Вот и считайте.

L
На сайте с 25.12.2013
Offline
460
#6
jsmith820 :

Кто знает, он разово проходит, и потом всё. Или теперь, если не заблочить, будет постоянно по ним шастать, и CPU напрягать?
😈

Постоянно будет лезть и грузить сервак пока его не блокните. Потом еще другие доты подтянуться, тогда вообще сайт не откроете.
Недорогой, надежный и отзывчивый VPS хостинг ( https://vk.cc/cSd09I ) Проверенная пуш партнерка с ежедневными выплатами ( https://vk.cc/9wLSrL )
Pavel A
На сайте с 15.02.2018
Offline
133
#7
Скоро в голову будет лезть если не уже. Так что...
Продаю ХОСТИНГ, VDS шикарные | Шикарные VDS ( https://is.gd/ishosting ) недорого | Мои VDS ( https://is.gd/vds100 ) быстрее твоих. Хочешь сервер с базовым администрированием в Европе? Пиши.
Y
На сайте с 27.12.2011
Offline
134
#8

им можно запретить определенные пути, чтобы нагрузку уменьшить, например:

User-agent: GPTBot

Disallow: /search/

Disallow: /ajax/

Disallow: /*?


User-agent: OAI-SearchBot

Disallow: /search/

Disallow: /ajax/

Disallow: /*?

и вроде они поддерживают задержку в robots, но это не точно
bobolab
На сайте с 08.04.2008
Offline
223
#9

попроси чатгп пусть тебе создаст robots.txt и htaccess против всех известных ему ботов и сканеров AI.

также чатгп расскажет куда и как вставить, если скажешь ему про свой движок и т.д...

Аналог РСЯ https://u.to/j03BHw | Продам вечную лицензию DLE - писать в ЛС.
G6
На сайте с 12.07.2007
Offline
199
#10
jsmith820 :
Кто знает, он разово проходит, и потом всё. Или теперь, если не заблочить, будет постоянно по ним шастать, и CPU напрягать?
Будет всё время теперь.
Самый лучший вариант, который не банит его и он никуда не пропадает, если нужен вообще конечно, отдавать 429 когда начинает борзеть.
Сделать просто на PHP например или что доступно. Да любой ИИ сделает за 5 минут. Лимиты выставить сколько запросов и за сколько времени или за сколько урлов будут запрещать доступ и на сколько.

Бот после нескольких 429 останавливается, но не пропадает и позже продолжит.
Каталог каналов/групп, ботов MAX https://max.worldwebinfo.ru
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий