GoogleBot не использует Nutch

На днях SEO-консультант Бритни Мюллер (Britney Muller) заметила нового агента пользователя – Googlebot/Nutch-1.7. Она написала об этом в Twitter и попросила сотрудника Google Джона Мюллера прокомментировать, действительно ли такой user-agent существует.

Is Googlebot/Nutch-1.7 an official Googlebot crawler?

Seeing some mixed info online (possibly a rarer large crawler for big websites)?🤷

IP DNS Lookups confirm that these are not from googlebot[dot]com or google[dot]com properties? cc: @JohnMu

Thanks!

— Britney Muller (@BritneyMuller) 1 октября 2020 г.

По словам Мюллера, Google вообще не использует Nutch в агентах пользователя Googlebot – ни для поиска, ни для других вариантов использования общей инфраструктуры.

I just double-checked to be sure :). We don't use "nutch" at all in any of the Googlebot user-agents we use for search or for the other uses of the shared infrastructure.

— 🍌 John 🍌 (@JohnMu) 2 октября 2020 г.

Поэтому, если в журналах сервера появился такой агент пользователя, то это не настоящий Googlebot, и при необходимости его можно заблокировать.