Google: вызовы API тоже учитываются в бюджете сканирования

Ранее в этом месяце сотрудник Google Джон Мюллер ответил на вопрос о том, как вызовы API для извлечения данных влияют на бюджет сканирования. На это обратил внимание SEO-консультант Гленн Гейб.


В вопросе речь шла о сайте, который связывается с API на клиентском сайте для получения данных. Специалист спросил, учитываются ли эти URL в бюджете сканирования, и может ли использование директивы disallow привести к каким-либо проблемам.

По словам Мюллера, если эти вызовы включены в процесс рендеринга страницы, то да, они будут учитываться в бюджете сканирования. Google необходимо просканировать их, чтобы отобразить страницу.

Сканирование этих API/URL можно заблокировать с помощью директивы disallow (если на это расходуется большое количество ресурсов), но важно убедиться, что это не повлияет на рендеринг контента.

Если для успешного рендеринга необходимы эти данные, то эти URL нельзя закрывать от сканирования. Если же это какие-то вспомогательные данные, такие как рисунки, диаграммы и т.п., то риски минимальны.

Прослушать вопрос к Мюллеру и его ответ на него можно на видео:

Напомним, что в 2017 году сотрудник Google Гэри Илш подробно рассказал, что представляет собой краулинговый бюджет. В 2019 году он добавил в этот пост информацию о том, что вызовы AJAX расходуют краулинговый бюджет.

preview Яндекс и Microsoft разработали API для быстрой индексации контента – IndexNow

Яндекс и Microsoft разработали API для быстрой индексации контента – IndexNow

Google пока не участвует в проекте
preview Google о разделении контента для разных интентов

Google о разделении контента для разных интентов

Что под этим подразумевается
preview Moz: связанные результаты появляются на 40% страниц поисковой выдачи Google

Moz: связанные результаты появляются на 40% страниц поисковой выдачи Google

Согласно данным MozCast
preview Google: кнопки – это не ссылки

Google: кнопки – это не ссылки

И не используются в сканировании
preview В Google рассказали подробнее о запуске непрерывной прокрутки в мобильном поиске

В Google рассказали подробнее о запуске непрерывной прокрутки в мобильном поиске

Для лучшего понимания апдейта
preview Google: для восстановления позиций после Core Updates улучшайте контент

Google: для восстановления позиций после Core Updates улучшайте контент

Это эффективнее, чем работа над техническими аспектами