Как запретить индексацию технического домена

каких только ужасов не прочтёшь 😂 по теме:

RewriteCond %{HTTP_USER_AGENT} liveinternet [OR]
RewriteCond %{HTTP_USER_AGENT} WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot
RewriteRule ^(.*)$ - [F,L] 

вписываете UserAgent ботов (лучше, вообще то, более подробными реуглярками) и всё ок. можно и через Files их забанить....