Запрет и время переиндексации пауков

Господа, помогите.

Боты съедают весь трафик (2Gb в день).

Необходимо запретить индексацию лишними пауками, а для "нормальных" установить срок для переиндексации.

Как я понял есть два варианта отключения:

1. mod_rewrite

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} email [NC,OR]

RewriteCond %{HTTP_USER_AGENT} extractor [NC,OR]

RewriteCond %{HTTP_USER_AGENT} booch_ [NC,OR]

RewriteCond %{HTTP_USER_AGENT} naverbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ibm\.com [NC,OR]

RewriteCond %{HTTP_USER_AGENT} appie [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^obot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} zipppbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ia_archiver [NC,OR]

RewriteCond %{HTTP_USER_AGENT} grub-client [NC,OR]

RewriteCond %{HTTP_USER_AGENT} jetbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} wget [NC]

RewriteRule ^.*$ - [F]

2. robots.txt

User-agent: BecomeBot

Disallow: /

User-agent: Nutch

Disallow: /

User-agent: Jetbot/1.0

Disallow: /

User-agent: Jetbot

Disallow: /

User-agent: AskJeeves

Disallow: /

User-agent: Teoma

Disallow: /

User-agent: Jeeves

Disallow: /

Какой способ отключения лучше?

Для меня важно, как установить время переиндексации для "нормальных" пауков (MSNBot, AskJeeves, Inktomi Slurp),

т.к. по логам они съедают основной трафик (может тегом <meta name="revisit-after" content="10 days">).

Заранее благодарю за помощь.