Для чего используется User-Agent +https://openai.com/bot

не парсит, а индексирует, чтоб стать в будущем умнее.

Да, я это и имел в виду, вылетело с головы в тот момент

На той странице видим:

User agent      Description & details
OAI-SearchBot   OAI-SearchBot is for search. OAI-SearchBot is used to link to and surface websites in search results in ChatGPT's search features. It is not used to crawl content to train OpenAI’s generative AI foundation models. To help ensure your site appears in search results, we recommend allowing OAI-SearchBot in your site’s robots.txt file and allowing requests from our published IP ranges below.

Full user-agent string will contain ; OAI-SearchBot/1.0; +https://openai.com/searchbot

Published IP addresses: https://openai.com/searchbot.json
ChatGPT-User    ChatGPT-User is for user actions in ChatGPT and Custom GPTs. When users ask ChatGPT or a CustomGPT a question, it may visit a web page with a ChatGPT-User agent. ChatGPT users may also interact with external applications via GPT Actions. ChatGPT-User governs which sites these user requests can be made to. It is not used for crawling the web in an automatic fashion, nor to crawl content for generative AI training.

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

Published IP addresses: https://openai.com/chatgpt-user.json
GPTBot  GPTBot is used to make our generative AI foundation models more useful and safe. It is used to crawl content that may be used in training our generative AI foundation models. Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot

Published IP addresses: https://openai.com/gptbot.json

То есть 

https://openai.com/searchbot - поисковик
https://openai.com/bot - пользователи просят
https://openai.com/gptbot - индексатор

Но я на своем сайте вижу только https://openai.com/bot

OpenAI врет?

А для вас это новость? =)

Это я не в вашем случае, а в общем, если что =)

А еще это говно посещает сайт якобы по запросу пользователей, но я так и не смог получить от него ответ с моим сайтом.

А не, немного наговариваю. Посещения другой языковой версии, а старый юрл отдает уже другой контент.

А вот поискал на той языковой версии, которую посещает, не находит, *наны.

банить, не будет ленивый пользователь, который нашёл ответ в этом чате переходить по сноскам со ссылками на ваш сайт, ваш сайт от этого ничего не получит, кроме нагрузки и пессимизации за тормоза со стороны поисковиков из-за этой нагрузки, это относится ко всем ИИ-паукам

Как-то бот Claude начал сильно "любить" мой сайт, пришлось забанить всех ИИ ботов, чтобы нормальные пользователи могли заходить на ресурс, а не наблюдать дикие глюки и зависания со стороны сервера.

Да они все периодиески набеги такие делают, как будто у хостингов безграничне ресурсы. Огромное число запросов, огромная их частота. Понятно, что сайты в итоге ложатся, или начинают глючить со страшной силой.

Амазонбот, Тиктокбот, Клауди, Опенаи, и прочее по списку - в бан. Те несколько заходов, что проскакивают от них в статистике, не окупают тот вред, что они приносят.

Ну сваливать в одну кучу Амазон, Тикток и ОпенАИ не совсем корректно. Амазонбот может быть полезен для e-commerce, Тикток бот нужен для генерации превьюшек, когда ссылкой делятся в соцсети, а вот ботов пылесосов от LLM можно банить

Да, понимаю, слово знакомое услышали - Тикток.

Логично не делать домыслов в топике, а перед этим хотя-бы минимально загуглить такие слова как TikTokSpider и Bytespider.