Google обновил документацию по поисковым роботам. В список краулеров был добавлен новый сканер – GoogleOther. Он описывается, как «универсальный сканер, который может использоваться различными группами разработчиков для извлечения общедоступного контента с сайтов».
Как сообщает Google, он может быть использован для одноразового обхода внутренних исследований и разработок. GoogleOther всегда подчиняется правилам robots.txt и использует те же диапазоны IP-адресов, что и Googlebot.
Как пояснил инженер поиска Гэри Илш, на своей странице в LinkedIn, новый сканер «будет выполнять некоторые работы Googlebot, чтобы увеличить его пропускную способность». Он уточнил, что:
«Новый сканер использует ту же инфраструктуру, что и Googlebot, и поэтому имеет те же ограничения и функции, что и Googlebot: ограничения загрузки хоста, robots.txt, версия протокола http, размер выборки… По сути, это Googlebot под другим именем».
Западные специалисты предположили, что новый сканер может использоваться командой, работающей над Google Bard, однако, в компании никак это не комментируют. А Гэри Илш лишь еще раз подчеркнул в Twitter, что «Googlebot используется для построения индекса, а GoogleOther — для других задач, ранее принадлежавших Googlebot».
Отметим, последний раз справочная документация по роботам Google обновлялась в сентябре прошлого года, тогда в список краулеров был добавлен новый user-agent Site Verifier.
