Сотрудник Google Джон Мюллер заявил в Twitter, что сканирование не зависит от размера сайта.
Этот вопрос был поднят в ходе обсуждения потребности в инструменте отправки запросов на индексацию, который был «временно отключен» в середине октября.
Так, один из вебмастеров написал:
«@JohnMu, вы знаете, что краулеры не посещают небольшие сайты так же часто, как крупные. Поэтому для более быстрой индексации любых обновлений на ключевых страницах мы полагаемся на инструмент отправки URL. Убирая доступ к этому инструменту, вы поощряете крупные сайты и наносите удар по мелким».
Мюллер ответил так:
«Сканирование не зависит от размера сайта. Некоторые сайты имеют множество бесполезных URL и, к счастью, многие из них мы не сканируем. Если у вас есть пример со своего сайта, где вы видите проблемы, добавьте его в форму».
Вебмастер далее продолжил, что не все CMS-платформы автоматически обновляют файлы Sitemap. В ответ Мюллер отметил, что обновление платформы для того, чтобы это происходило, – оптимальное решение. В любом случае это намного удобнее, чем вручную отправлять в Google каждый URL.
