Для чего используется User-Agent +https://openai.com/bot

ТикТока пока еще не видел в логах своих серверов. Иногда просто баню по странам, ибо нечего делать на моих ру сайтах бразильцам или азиатам. На 99,9% - это боты, которые нафиг не нужны, а ресурсы у любого сервера не резиновые.

Там вперемешку, TikTokSpider и Bytespider. В последнее время как-то более активно стало попадаться на некоторых проектах. Определенно есть какой-то тренд на парсинг сайтов разными китайскими нейросетями.

Китайские боты - это отдельная песня. Их даже метрика Яндекса не помечает, как ботов и продолжает считать по ним ПФ, где процент отказов держится 90% и больше. Нафиг такие пассажиры на ру сайте? В баню отправил весь Китай и забыл.

Это одоробло говорит, что оно обучается 1 раз.
Но почему оно посещает одну и ту же страницу каждый день?
Не верю, что это юзвери. Они с него не приходят и в выдаче страницы нету.