Google рассказал, как 500 ошибка влияет на индексацию страниц сайта

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как ошибка 500 может повлиять на индексацию страниц сайта. 

В ответ на вопрос одного из вебмастеров, Мюллер перечислил  ситуации, при которых код 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google. 

Прослушать ответ Мюллера можно на видео, начиная с 13:48:

Вебмастер рассказал, что  CMS на его сайте была настроена таким образом, чтобы блокировать  «плохих ботов», позволяя просматривать сайт только реальным пользователям и «законным ботам». Сначала все работало нормально, но после обновления, все настройки слетели. А еще через некоторое время специалисты заметили, что в Search Console появились уведомления об ошибке 500 в ответ на обход Googlebot. Вебмастер спросил у Мюллера, насколько это критично и не грозит ли страницам последующим выпадением из индекса.

На это Джон Мюллер ответил, что никаких никаких строгих пороговых значений по этому вопросу у Google нет. Проверка страниц, отдающих 500 ошибку, повторяется неоднократно. В том случае, если это продолжается довольно долго, индексация замедляется и проводится реже. Если и далее демонстрируется код 500, то такие URL-адреса удаляются из индекса.

«Так что если время от времени на отдельных страницах появляется 500 ошибка, это не имеет большого значения. Мы повторим проверку таких страниц, они останутся проиндексированными, и после следующей проверки все будет в порядке».

Мюллер также пояснил, что одна из причин, почему Google замедляет сканирование, связана с тем, что Googlebot сам вызывает перегрузку сервера. При этом у поисковика нет жестких пороговых значений, при которых Google решает, что сделано много запросов, получено много ошибок, а значит, пора удалять такую страницу из индекса. 

Ранее стало известно, что Google добавил новую функцию, которая позволяет вебмастерам сообщать поиску о проблемах с индексацией на сайте. 

Источник: Search Engine Journal
preview Google советует создавать контент, охватывающий все поисковые интенты

Google советует создавать контент, охватывающий все поисковые интенты

Так можно подстраховаться от внезапных изменений
preview Google еще не завершил обновление алгоритма борьбы со ссылочным спамом

Google еще не завершил обновление алгоритма борьбы со ссылочным спамом

Вместо 2-х недель раскатка продлится месяц
preview Западные вебмастера отметили значительные изменения в выдаче Google

Западные вебмастера отметили значительные изменения в выдаче Google

Возможно это завершающая стадия развертывания Link Spam Update
preview Google поделился инструкцией по оптимизации Core Web Vitals

Google поделился инструкцией по оптимизации Core Web Vitals

С рекомендуемыми инструментами для каждого этапа