robotx.txt vs noindex

Если это то, о чём я подумал, то доступ к подобному должен быть запрещён для всех.

Раньше гугл мне ошибками "Проиндесировано несмотря на запрет в robots.txt" не сыпал. Это вот в новой консоли началось.

Ничего умнее как открыть доступ боту в robots.txt для устранения этих ошибок я не придумал. Думаю гугл не настолько туп чтобы постоянно долбиться в запрещённые к индексации метатегом страницы. Тем более что если таких страниц много, то со структурой сайта что то не то.

Так там часть файлов-то нужна - если он не может отрендерить страничку, то будет считать, что сайт неадаптивный. 
У меня просто было несколько случаев, когда у сайта были проблемы с ранжированием именно вследствие вот таких технических проблем.

Если посмотреть в логи - там иной раз чудные вещи обнаруживаются. Ну типа сайту пару лет как поменяли структуру, шаблон другой, URL другие - а гугляша как подорванный продолжает искать эти URL. При нормальном переезде, деиндексации мусора, без ссылочного внешнего (или с редиректами на новые адреса) - пофигу. У него свои списки и соображения.