краулинг поисковой выдачи

Если я правильно вас понял, то любой поисковик запрещает индексировать результаты выдачи для агрегации этого контента вебмастером. Только сейчас это уже неакутально. Раньше такое явление было и носило название "мета-поисковика" (метакраулера). Отмечу, что есть абсолютно адекватные мета-поисковики, которые не попадают под описанное явление (не индексируют результаты запросов).

Уточнили бы где написанно? В инструментах? Боту запрешено, сканировать сайт. Не отсканирует, не попадет в индекс.

написано это вот здесь