Google ответил на частые вопросы по бюджету сканирования

Во втором эпизоде SEO Mythbusting Season 2 сотрудник Google Мартин Сплитт и аккаунт-менеджер Merkle Алексис Сэндерс обсудили частые SEO-вопросы и мифы, связанные с бюджетом сканирования.


Ниже – список рассмотренных вопросов с таймкодами:

  • Почему бюджет сканирования – это интересная тема для обсуждения? (0:00);
  • Что такое краулинговый бюджет? (1:15)
  • Что такое частота сканирования и краулинговый спрос? (1:47)
  • Как Googlebot принимает решения касательно частоты сканирования и краулингового спроса? (2:44)
  • ETags, HTTP-заголовки, last modified dates и т.п. (3:43)
  • Сайтам какого размера следует беспокоиться о бюджете сканирования? (4:35)
  • Настройки сервера vs краулинговый бюджет (5:00)
  • Частота сканирования vs качество контента (6:18)
  • Чего ожидать в лог-файлах, если Google тестирует сервер? (7:45)
  • Советы о том, как обеспечить правильное сканирование сайта во время его переноса (8:18)
  • Бюджет сканирования и разные уровни инфраструктуры сайта (9:40)
  • Влияет ли бюджет сканирования на рендеринг? (10:37)
  • Кеширование ресурсов и краулинговый бюджет (11:46)
  • Бюджет сканирования и конкретные отрасли (13:34)
  • Что можно рекомендовать для того, чтобы помочь Googlebot при сканировании сайта? (15:03)
  • В какие ловушки люди обычно попадают с краулинговым бюджетом? (16:52)
  • Можно ли сообщить Googlebot, чтобы они чаще сканировал сайт? (17:40)

Комментарии Сплитта в Twitter

Сплитт также ответил на дополнительные вопросы оптимизаторов в Twitter.

Так, один из специалистов поинтересовался, можно ли запретить сканирование спустя X страниц, если речь идёт о крупном каталоге с миллионами страниц и большим количеством ссылок между ними, чтобы сэкономить краулинговый бюджет. «Меньше бюджета сканирования на пагинацию, больше на свежий контент и на страницы категорий».

По словам Сплитта, это допустимо, но в норме не является необходимостью.

Ещё один специалист рассказал, что заметил корреляцию между «бот-обращениями» на странице и «количеством показов». Он спросил, является ли краулинговый бюджет хорошим KPI для оценки качества страницы с точки зрения SEO.

Сплитт ответил, что корреляция не равна причинно-следственной связи, поэтому «нет».

Напомним, что в 2017 году сотрудник Google Гэри Илш опубликовал подробный пост со всей основной информацией о краулинговом бюджете, включая факторы, влияющие на него, и FAQ.

Источник: Search Engine Roundtable
subscribe

Подпишитесь на рассылку SearchEngines

preview Яндекс отметил лучшие организации 2019 года на картах и поиске

Яндекс отметил лучшие организации 2019 года на картах и поиске

Поисковик подвел итоги проекта «Хорошее место 2019»
preview «Поиск – не наука»: Джон Мюллер поделился своими мыслями о факторах ранжирования

«Поиск – не наука»: Джон Мюллер поделился своими мыслями о факторах ранжирования

Единственного решающего фактора не существует
preview Google Discover теперь показывает крупные картинки для non-AMP страниц

Google Discover теперь показывает крупные картинки для non-AMP страниц

Раньше эта функция стабильно работала только для ускоренных страниц
preview Google не советует блокировать сканирование страниц с ошибкой 404

Google не советует блокировать сканирование страниц с ошибкой 404

Поисковик обрабатывает «миллиарды» таких страниц в день
preview Google: архитектура сайта должна быть простой, но интересной

Google: архитектура сайта должна быть простой, но интересной

Такое мнение высказал сотрудник поиска Джон Мюллер
preview Показатели кликабельности в поисковой выдаче Google в 2020 году

Показатели кликабельности в поисковой выдаче Google в 2020 году

Исследование Sistrix