complex200

Не - через VPNы нормальный  robots показывает.

Лучше всё видно в Google Search Console 

Может просто не знают? В поиске спросили как заблокировать сайт от индексации в robots.txt  - им выдали код

Вопрос в другом... Зачем им вообще всё это надо, если письмо из Роскомнадзора - это только рекомендация? Они понимают, что клиенты уйдут?

...И кстати, где ты был 5 лет?

Я не писатель, я читатель...

Поздравляю! Началось...
Хостинг hoster.ru и hts.ru   (технически ОДНА организация см. контакты)
Замена ваших файлов robots.txt на "правильные" при обращении поискового бота Google

В "правильных" файлах   robots.txt теперь запрет всего сайта для индексации:

Вот что видит Google бот вместо родного файла на хостинге:

User-Agent: Yandex
Disallow: /
Host: www.hts.ru

User-Agent: Googlebot
Disallow: /

User-Agent: *
Disallow: /

Сайты быстро накапливаю ошибки индексации в Google Search Console/// 
Усердные админы и в Яндексе сайт до кучи забанили 😊, чтоб Google боту не обидно было

Хостинг hoster.ru и hts.ru - это теперь  технически ОДНА организация (см. контакты)
Подмена файла robots.txt для поисковых Google ботов идёт во всех проектах. В файлах - Запрет к индексации поставлен для всего доменного имени и указывают директорию индексации свои сайты

User-Agent: Yandex
Disallow: /
Host: www.hts.ru

User-Agent: Googlebot
Disallow: /

User-Agent: *
Disallow: /

Всем коммерческим сайтам с SEО политикой - обратить внимание!

Техподдержка просто поражает - рассказы про "блокировку" ботов Google  для первичной защиты от Ddos-атак 
Но при чём тут подмена файлов robots.txt  с запретом индексации???????

Юридически - закона о блокировке поисковых ботов НЕТ, есть только "рекомендация". Кто-то бежит впереди паровоза? Ну и убежит от своих же клиентов