Караул! Боты сожрали 90 гигов трафика

Нет, реально страниц намного меньше. Думаю, порядка 10.000. Они все создаются динамически, урлы "очеловеченные", типа - http://shashki.com/article1697.html

Нашел вот такую статистику на хостинге -

Hits by Response Code

Code 200 - OK 349538

Code 206 - Partial Content 2141

Code 301 - Moved Permanently 322

Code 302 - Found 84165

Code 304 - Not Modified 130443

Code 403 - Forbidden 18

Code 404 - Not Found 7968

Code 405 - Method Not Allowed 2

Code 406 - Not Acceptable 37

Code 416 - Requested Range Not Satisfiable 17

А есть ли возможность указывать боту просматривать только НОВЫЕ страницы ?

Если у Вас стоит CMS и названия материала с ссылками можно вытащить из базы, то может быть имеет смысл составить xml карту сайта с новыми(определять по времени создание документа) урлами. т.е. поставить везде NOFOLLOW и вручную ему скармливать ссылки через карту сайта.

Попробуйте использовать заголовок If-Modified-Since.

Проверять, как это работает, можно тут: http://seolab.ru/add/header.htm

Пока все время выдает 200, а не 304.

Еще обратите внимание, что в базе сайт с www, причем 63000 страниц.

Роботов типа WebAlta, MSN я бы пока закрыл. Заходов они не дадут, а трафик сожрут.

404 вроде выдает правильно. Только не видно сообщения об ошибке, но поисковикам это пофиг.

<a href="" rel="NOFOLLOW"> Яндексом не обрабатывается (эта конструкция, прежде всего для Google). А в данном случае именно боты Яндекс наиболее активные.

Кроме того, я ведь написал в первом посте о правильной обработке If-Modified-Since. Это может быть хорошим решением Вашего вопроса.