Для чего используется User-Agent +https://openai.com/bot

L
На сайте с 10.02.2015
Offline
252
1088

Попросил ЧатЖоПиТи посетить свой сайт, увидел такой User-Agent.
А потом тьму таких же.
Но вот я сомневаюсь, что это юзвери просят посетить мой сайт.
Парсит?
Ранее они чью-то базу использовали без своего парсера.

Mik Foxi
На сайте с 02.03.2011
Offline
1196
#1
не парсит, а индексирует, чтоб стать в будущем умнее.
Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
L
На сайте с 10.02.2015
Offline
252
#2
Да, я это и имел в виду, вылетело с головы в тот момент
L
На сайте с 10.02.2015
Offline
252
#3
На той странице видим:
User agent      Description & details
OAI-SearchBot   OAI-SearchBot is for search. OAI-SearchBot is used to link to and surface websites in search results in ChatGPT's search features. It is not used to crawl content to train OpenAI’s generative AI foundation models. To help ensure your site appears in search results, we recommend allowing OAI-SearchBot in your site’s robots.txt file and allowing requests from our published IP ranges below.

Full user-agent string will contain ; OAI-SearchBot/1.0; +https://openai.com/searchbot

Published IP addresses: https://openai.com/searchbot.json
ChatGPT-User    ChatGPT-User is for user actions in ChatGPT and Custom GPTs. When users ask ChatGPT or a CustomGPT a question, it may visit a web page with a ChatGPT-User agent. ChatGPT users may also interact with external applications via GPT Actions. ChatGPT-User governs which sites these user requests can be made to. It is not used for crawling the web in an automatic fashion, nor to crawl content for generative AI training.

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

Published IP addresses: https://openai.com/chatgpt-user.json
GPTBot  GPTBot is used to make our generative AI foundation models more useful and safe. It is used to crawl content that may be used in training our generative AI foundation models. Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot

Published IP addresses: https://openai.com/gptbot.json

То есть 

https://openai.com/searchbot - поисковик
https://openai.com/bot - пользователи просят
https://openai.com/gptbot - индексатор


Но я на своем сайте вижу только https://openai.com/bot

OpenAI врет?

Z0
На сайте с 03.09.2009
Offline
816
#4
livetv #:
OpenAI врет?

А для вас это новость? =)

Это я не в вашем случае, а в общем, если что =)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий