Google анонсировал запуск нового краулера под названием Google-Extended. Новый юзер-агент отвечает за возможность использования контента сайта для обучения генеративных моделей искусственного интеллекта, на которых работают Bard, Vertex AI и другие разрабатываемые продукты Google AI.
Для того, чтобы исключить использование контента сайта для обучения ИИ, вебмастера могут запретить в файле robots.txt сканирование для user-agent: Google-Extented.
«Google-Extended не имеет отдельной строки пользовательского агента HTTP-запроса. Сканирование выполняется с помощью существующих строк пользовательского агента Google; токен user-agent robots.txt используется в качестве управления», – поясняют в Google.
Ранее в сентябре Google сообщил о запуске Bard Extensions – новом способе взаимодействия и сотрудничества с Bard. Теперь Bard сможет находить и показывать пользователю релевантную информацию из всех сервисов и инструментов Google, которые тот использует каждый день, таких как Gmail, Docs, Drive, Google Maps, YouTube, Google Flights и поиск по отелям.
