Стали известны новые детали работы обновлённого Googlebot

На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.

Старый агент пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый вариант, в котором упоминается Chrome 41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.


При этом в Google планируют обновить user-agent в будущем:


Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.


На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплитответил стандартной фразой: «[Нам] пока не о чем объявить».


Объём сканирования останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет ли Googlebot сканировать меньше страниц при одном и том же краулинговом бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.


Поддержка новых функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.


Googlebot пока обновлён не во всех инструментах Google

Googlebot используется в разных сервисах и подразделениях Google, однако не во всех из них краулер уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли на обновлённую версию Googlebot, но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.

Новый user- agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.


В Google пока не ответили, что это за user-agent:


Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.

Источник: Search Engine Roundtable
subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Google анонсировал новые функции в поиске по картинкам

Google анонсировал новые функции в поиске по картинкам

На конференции I/O 2019 Google анонсировал ряд новых функций в поиске по картинкам
preview В Google теперь можно искать и проигрывать подкасты

В Google теперь можно искать и проигрывать подкасты

Google приступил к запуску поддержки подкастов в поиске...
preview Google показал новый отчёт в Search Console – Speed Report

Google показал новый отчёт в Search Console – Speed Report

На конференции I/O 2019 Google показал новый отчёт в Search Console под названием Speed Report. На данный момент он находится на стадии закрытой беты
preview Google начал поддерживать два новых типа структурированных данных – FAQ и How-to

Google начал поддерживать два новых типа структурированных данных – FAQ и How-to

Google объявил, что в поиске теперь поддерживаются два новых типа структурированных данных – FAQ (для часто задаваемых вопросов) и How-to (для пошаговых инструкций
preview В Google Codelabs добавили практикумы по SPA и динамическому рендерингу

В Google Codelabs добавили практикумы по SPA и динамическому рендерингу

Сотрудник Google Мартин Сплит сообщил в Twitter, что в Google Developer Codelabs появились новые SEO-практикумы - по одностраничным приложениям (Single Page Apps, SPA) и...
preview В  MAPS.ME появился путеводитель по Каталонии Сальвадора Дали

В MAPS.ME появился путеводитель по Каталонии Сальвадора Дали

В преддверии дня рождения Сальвадора Дали в каталоге MAPS.ME появился путеводитель по Каталонии