Как гугл так полно индексирует?

goliafz, Аналитикс стоит? Если да, то очевидно.

Да и решение проблемы - роботс.тхт.

да, Jovian прав, если стоит метрика или аналитикс - уже не скрыть ничего из того, что не закрыто какими-либо директивами или ограничено в доступе правами.

Кроме того, мы на корпоративных компьютерах запрещали пользоваться всякой spy-херней вроде яндекс-бара и т.д.

Если программисты неправильно выставили права на документы хранящиеся на сервере, а пользователь скачал их себе локально с помощью браузера с яндекс-баром, то очень скоро это документ можно будет найти в поисковой выдаче яндекса