Защита от ботов для молодого сайта

То есть если включить эти настройки, любой юзер сможет все равно проанализировать этот, сторонний для него, сайт через, например, ахрефс или семруш?

Конечно.

Вот недавний пример. Была задача аудита сайта. В настройках не то, что в robots-е была инструкция на запрет индексации, в htaccess был запрет для заходов, с определёнными User-Agent-ами.  Т.е. физически сервер не должен отдавать информацию по этому условию.

Так вот, среди них был явный запрет на парсинг данных для сервиса keys.so. Т.е. это не просто рекомендательная инструкция, это вообще физическое блокирование роботов среди которых был и keys.so.

Ну и что вы думаете? Я захожу в сервис keys.so, чтобы проверить есть ли там данные по этому сайту и вижу, что - да, есть и в том числе самые свежие.

Отсюда вывод, что все эти запреты - ерунда, сервисы скорее всего представляются поисковыми ботами и собирают необходимые данные, ведь это их хлеб.

Не скажу про Ahref, уже им не пользуюсь, но думаю, что в выборе - выполнить задачу или не выполнять, потому что вебмастер где-то в инструкции написал - не выполнять, сервис всё-таки выполнит.