Участники Рекламной сети Яндекса могут управлять скоростью обхода своего сайта роботом РСЯ при помощи дерективы Crawl-delay в файле robots.txt.
Директива Crawl-delay устанавливает продолжительность паузы, которую делает робот между загрузками страниц сайта. При отсутствии файла robots.txt или директивы в нём минимальная пауза составляет 2 секунды. Такая продолжительность паузы обеспечивает оптимальную скорость индексации для большинства сайтов и не создает чрезмерной нагрузки на серверы и хостинг. Например, она позволяет роботу РСЯ полностью проиндексировать сайт, состоящий из нескольких тысяч страниц, в течение суток.
Крупным сайтам рекомендуется устанавливать значение crawl-delay менее двух секунд. Устанавливать значение Crawl-delay больше двух секунд имеет смысл, если робот РСЯ создает ощутимую нагрузку на сайт и мешает его нормальной работе. Следует также помнить о том, что слишком высокое значение Сrawl-delay может понизить качество рекламы и монетизацию сайта.
Получить более подробную информации о директиве Сrawl-delay можно на странице помощи.