Робот Рамблера игнорирует запрет в роботсе...

Почему вы решили, что это бот Рамблера? Какой User-agent в логах?

Скачал ли этот бот /robots.txt ?

Когда появился запрет?

Робот Рамблера решил так как искал этот IP через Яндекс и нашёл обсуждение форума, там народ приводил примеры из своих логов. К своим логам у меня доступа нет, к сожалению, поэтому не могу посмотреть, но статистика самого сайта засекла данный IP адрес, по нему и искал. Запрету около недели, все роботы успокоились, не лезут туда, а вот Рамблер на днях пролез с какого-то IP, проверил его, там были данные именно Рамблера, и тут ещё этот IP сегодня.

Вы всё написали правильно (единственное, как правильно заметил Kost - почему это бот Рамблера?, ), попробуйте использовать запрет только для Рамблера:

User-agent: StackRambler

Disallow: /discussthis/

и общую конструкцию для всех роботов

User-agent: *

......

Установил для Рамблера запрет отдельно, надеюсь, поможет. Скажите, пожалуйста, а можно ли устанавливать запрет для определенного IP? Если да, то как?

Я сталкивался с такой ситуацией, определённый ip адрес создавал большую нагрузку на сервер. Для блокировки обратитесь в тех. поддержку Вашего хостинга, они должны предоставить Вам возможность заблокировать данный ip.

Мне бы не хотелось его вовсе блокировать, просто закрыть доступ к определенной дирректории и от неё производных дирректорий и файлов, чтобы он там не копался. Было бы очень удобно через роботс его прикрыть, если так можно.

Ну и не парьтесь тогда.

Проблема то остаётся, нужно как-то решать.

Пока не вижу проблемы. User-agent вы не указали и не знаете, мало ли что находится на этом IP.

В поиск Рамблера попали какие-то не те страницы? Где проблема-то?

Вот строка из лога:

81.19.66.89 - - [17/Dec/2008:08:21:11 +0300] "GET /discussthis/new/584 HTTP/1.1" 302 - "-" "StackRambler/2.0 (MSIE incompatible)"

Значит это точно робот Рамблера, но он не реагирует на общий запрет, как ему запретить каталог /discussthis/ и всё, что в нём?