Закрыть директории

RewriteEngine    on  
RewriteCond %{REQUEST_URI} !^/beta
RewriteRule ^/$ /404.html [L]

Попробуйте возможно поможет

1.

RewriteEngine On

RewriteCond %{REQUEST_URI} !^/beta

RewriteCond %{REQUEST_URI} !^/index.html

RewriteRule ^ 404.html [G]

2. http://yandex.ru/yandsearch?text=%D0%90%D0%B2%D1%82%D0%BE%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F+%D1%81%D1%80%D0%B5%D0%B4%D1%81%D1%82%D0%B2%D0%B0%D0%BC%D0%B8+web-%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0&text=14585&text=10313&lr=10313

можно так ололо

а для поисковиков сделать robots.txt

User-agent: *

Allow: /index.html

Disallow: /

(разрешить index.html и запретить все остальное)

то, что есть папка beta, в robots.txt лучше не светить...