Для чего используется User-Agent +https://openai.com/bot

L
На сайте с 10.02.2015
Offline
248
856

Попросил ЧатЖоПиТи посетить свой сайт, увидел такой User-Agent.
А потом тьму таких же.
Но вот я сомневаюсь, что это юзвери просят посетить мой сайт.
Парсит?
Ранее они чью-то базу использовали без своего парсера.

Mik Foxi
На сайте с 02.03.2011
Offline
1176
#1
не парсит, а индексирует, чтоб стать в будущем умнее.
Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ Форум на замену серчу: https://foxi.biz/
L
На сайте с 10.02.2015
Offline
248
#2
Да, я это и имел в виду, вылетело с головы в тот момент
L
На сайте с 10.02.2015
Offline
248
#3
На той странице видим:
User agent      Description & details
OAI-SearchBot   OAI-SearchBot is for search. OAI-SearchBot is used to link to and surface websites in search results in ChatGPT's search features. It is not used to crawl content to train OpenAI’s generative AI foundation models. To help ensure your site appears in search results, we recommend allowing OAI-SearchBot in your site’s robots.txt file and allowing requests from our published IP ranges below.

Full user-agent string will contain ; OAI-SearchBot/1.0; +https://openai.com/searchbot

Published IP addresses: https://openai.com/searchbot.json
ChatGPT-User    ChatGPT-User is for user actions in ChatGPT and Custom GPTs. When users ask ChatGPT or a CustomGPT a question, it may visit a web page with a ChatGPT-User agent. ChatGPT users may also interact with external applications via GPT Actions. ChatGPT-User governs which sites these user requests can be made to. It is not used for crawling the web in an automatic fashion, nor to crawl content for generative AI training.

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

Published IP addresses: https://openai.com/chatgpt-user.json
GPTBot  GPTBot is used to make our generative AI foundation models more useful and safe. It is used to crawl content that may be used in training our generative AI foundation models. Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot

Published IP addresses: https://openai.com/gptbot.json

То есть 

https://openai.com/searchbot - поисковик
https://openai.com/bot - пользователи просят
https://openai.com/gptbot - индексатор


Но я на своем сайте вижу только https://openai.com/bot

OpenAI врет?

Z0
На сайте с 03.09.2009
Offline
808
#4
livetv #:
OpenAI врет?

А для вас это новость? =)

Это я не в вашем случае, а в общем, если что =)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий