На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.
Старый агент пользователя
Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый вариант, в котором упоминается Chrome 41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.
Right, unfortunately the UA is wrong ;-) We wanted to do things step by step and we didn't want to change the UA as people might have hardcoded it somewhere - with enough heads-up, we'll change that!
— Martin Splitt at 🏡🇨🇭 (@g33konaut) 8 мая 2019 г.
При этом в Google планируют обновить user-agent в будущем:
How do you determine that it was a Chrome 41 from the logs?
— Martin Splitt at 🏡🇨🇭 (@g33konaut) 8 мая 2019 г.
But yes, the UA will be updated in the future. More details at https://t.co/mshKgwn8aI
Два обхода для JavaScript-страниц
Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.
There is still a delay...but more than 1000 new features are supported now!
— Martin Splitt at 🏡🇨🇭 (@g33konaut) 7 мая 2019 г.
На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплитответил стандартной фразой: «[Нам] пока не о чем объявить».
Nothing to announce yet..
— Martin Splitt at 🏡🇨🇭 (@g33konaut) 8 мая 2019 г.
Объём сканирования останется прежним
На вопрос, изменится ли объём сканирования – т.е., не будет ли Googlebot сканировать меньше страниц при одном и том же краулинговом бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.
Nope.
— Martin Splitt at 🏡🇨🇭 (@g33konaut) 8 мая 2019 г.
Поддержка новых функций
Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.
Our session on #javascript and #seo at 1:30pm tomorrow will be LIT🔥🔥🔥
— Martin Splitt at 🏡🇨🇭 (@g33konaut) 9 мая 2019 г.
Come to stage 3 to see what it's all about 🙃
Amongst other things, we'll talk:
🏗️Web app architectures
🤖Googlebot
⚡️Lazy loading
🚀Web APIs
🔬Testing
📈Crawl budget & more!https://t.co/6CGsiGgg9wpic.twitter.com/b4MnvpSmWt
Googlebot пока обновлён не во всех инструментах Google
Googlebot используется в разных сервисах и подразделениях Google, однако не во всех из них краулер уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли на обновлённую версию Googlebot, но будут переведены на неё в будущем.
Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.
Новый user- agent
Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.
Great catch Lino. I see that too in my logs. Eager to hear more about this from Google. :) pic.twitter.com/sumpyEZCsr
— Glenn Gabe (@glenngabe) 9 мая 2019 г.
Hi, Lino! Sorry I missed the earlier tweet. Now, that looks like legit Googlebots, but I'll have to dig a little to give you a proper answer! 😬
— Martin Splitt at 🏡🇨🇭 (@g33konaut) 9 мая 2019 г.
Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.
