Как запретить действие htaccess на подкаталоги?

Тут вместо mod_alias нужен mod_rewrite.

RewriteRule ^download/file\.exe$ https://www.A.com/download/file.exe [R=301,L]

>>>  Не первый хостер уже устраивает мне такой бардак с сайтами

попросите хостера поменять основной домен или размещайте корни сайтов вне /public_html/
Это решаемо на уровне хостера/панели.

Такое есть при использовании панели Cpanel. Решаемо.

Это ужас ужасный. Сайты не должны быть вложенными друг в друга. (СПанель небось..)

Нужно один раз сделать и не иметь приключений в будущем.

Да, СПанель.
Какие проблемы могут быть из-за такого вложения? Что проверить?

Самое очевидное: http://www.A.com/B.com/ - не страшно?
Ну и всякие правила в вышестоящем хтацссе (вот с одной проблемой ты уже столкнулся).
Безопасность опять же. Хотя в случае СПанели это не так важно, но "простота доступа" может зависеть от самих сайтов. Например тот же open_basedir весьма полезная штука, но в данном случае им не воспользоваться.

Еще при добавлении дополнительного домена Cpanel создает поддомен к основному домену и он будет у Вас работать, поэтому лучше всего основной домен делать нерабочим, например,
default1111111.com

а рабочие сайты добавлять в CPanel --> Дополнительные домены.
Осноной домен меняется через саппорт/WHM.

Да, выглядит жутковато, и хотя по "site:" в гугле такие страницы вылезают, но при поиске по фразам с этих страниц выдает нормальные домены, а не http://www.A.B.com/ , может и ничего страшного тогда? Просто если менять, то боюсь, что и статистика слетит, и почтовые логини м редиректы могут накрыться и кто его знает еще чего перекосится.

О, даже так? Так это вообще ужас.