Сотрудник Google Джон Мюллер заявил в Twitter, что 100 тысяч URL обычно недостаточно, чтобы повлиять на бюджет сканирования.
При таком размере сайта проблем со сканированием быть не должно.
100k URLs is usually not enough to affect crawl budget (it's <1/minute over 3 months), and if it's noindex/404, we won't crawl them that often. With robots.txt it's rare we'd show them in search, site:-queries don't matter.
— 🫕 John 🫕 (@JohnMu) 21 декабря 2021 г.
Все обсуждение можно прочитать, начиная с твита.
Отметим, что в 2016 году, сотрудник поиска Гэри Илш советовал тем сайтам, у которых около 100 000 URL, использовать nofollow для повышения эффективности сканирования. Но это было более пяти лет назад.
В начале 2017 года Илш опубликовал подробный пост, посвященный лимиту на сканирование. В нем он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.
А в 2020 году Google Google поделился рекомендациями по управлению лимитом на сканирование для крупных сайтов. Они ориентированы на владельцев очень больших сайтов (от 1 млн уникальных страниц) с достаточно часто меняющимся контентом, а также средних и больших сайтов (от 10 тыс. уникальных страниц) с часто меняющимся контентом.
