GoogleBot не использует Nutch

На днях SEO-консультант Бритни Мюллер (Britney Muller) заметила нового агента пользователя – Googlebot/Nutch-1.7. Она написала об этом в Twitter и попросила сотрудника Google Джона Мюллера прокомментировать, действительно ли такой user-agent существует.

По словам Мюллера, Google вообще не использует Nutch в агентах пользователя Googlebot – ни для поиска, ни для других вариантов использования общей инфраструктуры.

Поэтому, если в журналах сервера появился такой агент пользователя, то это не настоящий Googlebot, и при необходимости его можно заблокировать.

Источник: Search Engine Roundtable
subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Optimization 2020 пройдет онлайн и бесплатно – впервые за 19 лет

Optimization 2020 пройдет онлайн и бесплатно – впервые за 19 лет

Организаторы изменили даты и формат мероприятия из-за роста случаев заболевания COVID-19
preview Google добавил Web Stories в ленту рекомендаций Discover

Google добавил Web Stories в ленту рекомендаций Discover

Пока только в США, Индии и Бразилии
preview Google проинформировал о текущем статусе проблем с индексацией

Google проинформировал о текущем статусе проблем с индексацией

И уточнил, сколько URL уже восстановлено
preview Bing переименовали в Microsoft Bing

Bing переименовали в Microsoft Bing

Поисковик также получил новый логотип
preview Новый сервис от Cloudflare поможет ускорить сайты на WordPress

Новый сервис от Cloudflare поможет ускорить сайты на WordPress

И улучшить пользовательский опыт
preview Google: отправка URL на индексацию не приводит к повторной обработке файла Sitemap

Google: отправка URL на индексацию не приводит к повторной обработке файла Sitemap

Актуализация данных происходит при следующей проверке таких файлов