Вебмастера заметили, что Googlebot стал меньше сканировать сайты

В последние несколько недель многие вебмастера по всему миру заметили, что активность Googlebot на их сайтах значительно снизилась, пишет Search Engine Journal.

Эта тема активно обсуждается в Twitter, Reddit и на других площадках. Кроме того, ту же картину показывают данные некоторых инструментов.

Так, основатель сервиса для анализа журналов сервера Seolyzer опубликовал в Twitter график краулингового поведения Google, который показывает, что с 11 ноября активность Googlebot значительно снизилась.


График:


В комментариях многие специалисты подтвердили, что видят снижение активности Googlebot в Search Console.

На данный момент есть две главные теории, с чем это может быть связано:

  • AMP:


  • Код ответа сервера 304 (хотя, согласно документации Google, этот статус не должен влиять на сканирование):


Некоторые специалисты также заметили улучшения после удаления формы для получения согласия на сбор файлов cookie, а другие обратили внимание на снижение частоты сканирования по страницам на тему туризма и увеличение – по страницам, связанным с e-commerce.

Комментарий Google

По словам сотрудника поиска Джона Мюллера, в поведении Googlebot ничего не изменилось. Он написал об этом в Reddit:

 

 Между тем среди специалистов отрасли есть предположения, что Google, возможно, тестирует новые паттерны сканирования сайтов.

preview Google обновил алгоритм Сети знаний

Google обновил алгоритм Сети знаний

Апдейт совпал с обновлением основного алгоритма
preview Сайту Google Search Central исполнился 1 год

Сайту Google Search Central исполнился 1 год

Что было сделано за это время
preview В Search Console возникла проблема с разрешениями пользователей

В Search Console возникла проблема с разрешениями пользователей

Инженеры уже работают над ее решением
preview Google добавил новое требование в документацию по разметке логотипов

Google добавил новое требование в документацию по разметке логотипов

Они должны хорошо выглядеть на белом фоне
preview Search Engine Land отключает поддержку AMP

Search Engine Land отключает поддержку AMP

С 19 ноября
preview Twitter отказывается от поддержки AMP

Twitter отказывается от поддержки AMP

Об этом говорится в справочной документации