Похоже, что что-то поменялось.
Гугл теперь считается с файлом роботс, хотя-бы это видно из его интерфейса:
https://i.imgur.com/m6sJeES.png
И еще:
https://i.imgur.com/7bpkcMJ.png
Клиенты хотеть знать, не влияют ли не легитимные параметры в роботс от яндекса на гугл?
https://i.imgur.com/7a67QA8.png
