Как запретить роботу доступ к поддоменам?

Есть домен с множеством поддоменов.

Поддомены используются для внутренних целей и не должны индексироваться, но при этом должны быть доступны "из интернета".

В поддоменах стоит запрет индексации через robots, но роботы его часто игнорируют.

Существует ли метод, чтобы "забанить" поисковых роботов чтобы они даже скачивать не могли?

Вроде можно через .htaccess как-то сделать

Блокировать по IP не реально, так как ip пауков меняются.