Как запретить Google скачивать файлы с сервера?

K12, сравнение по useragent в файле сделай и забудь про головную боль

Как в моем случае может помочь Hotlink protect?

Запретить гуглу загрузку файлов по useragent или по IP можно, но я боюсь что это может повлиять на позицию в выдаче и посещаемость сайта. Если позволить гуглу индексировать страницу с описанием программы, но не давать загружать программы, тогда как обычные посетители смогут загружать программы, не будет ли это приравнено к клоакингу?

Гугл хоть и не яндекс, но не мгновенно руководствуется правилами robots.txt, должно пройти какое-то время. Была похожая проблема, невозможно было без слез смотреть на гигабайты в графике "Статистика сканирования" в ГВМ. Решилось как раз таки запретом в .htaccess.

На счет клоакинга (если смотреть в сторону запрета по юзер-агенту) не беспокойтесь, в некоторых случаях сам гугл рекомендует что-то скрывать/показывать только боту (например, в статье о videos xml упоминается об обратном ДНС-запросе - https://support.google.com/webmasters/answer/80553), но тут надо дополнительно продумать, что отдавать боту, вряд ли ему понравятся ссылки, ведущие на 404.