Google запрещен к индексированию?

Прочитал сегодня новость - что типа все разделы гугла "закрыты" для индексирования - и что это сделано для защиты от многочисленных запросов поисковиков, которые могут снизить производительность... Но ведь гугл - очень известный поисковик, не кажется ли вам, что можно игнорировать его robots.txt? Если речь идет о серьезной защите данных из каталога (например для защиты от использования мета поисковиками), лучше наверное использовать другие средства и тем более не афишировать такое событие. Не понятно, в общем... Может есть какие соображения? - Может просто у гугла не хватает мощностей - об этом говорит и отложенная индексация страниц, некоторое время обсуждаемая здесь? И они пытаются снизить нагрузку таким образом (не для защиты данных, а как вынужденная мера)