:-) запутывают чтобы не могли вычислить алгоритм и накручивать
Да, много лет назад уже надо было создавать ресурс и набивать его контентом.
"Как мало пройдено дорог, как много сделано ошибок."
Пожалуйста.
Указанные настройки в robots.txt к возможностям анализа сайта пользователями не относятся.
Они в принципе бесполезны, ибо необязательны к выполнению.
То есть если включить эти настройки, любой юзер сможет все равно проанализировать этот, сторонний для него, сайт через, например, ахрефс или семруш?
Не фейк. Просто надо понимать о чём тут идёт речь.
Обьясните пжл желательно кратко, при этих вышеуказанных настройках через роботс обычные, непродвинутые юзеры не смогут анализировать сайт?