Вот строка из лога:
81.19.66.89 - - [17/Dec/2008:08:21:11 +0300] "GET /discussthis/new/584 HTTP/1.1" 302 - "-" "StackRambler/2.0 (MSIE incompatible)"
Значит это точно робот Рамблера, но он не реагирует на общий запрет, как ему запретить каталог /discussthis/ и всё, что в нём?
Проблема то остаётся, нужно как-то решать.
Мне бы не хотелось его вовсе блокировать, просто закрыть доступ к определенной дирректории и от неё производных дирректорий и файлов, чтобы он там не копался. Было бы очень удобно через роботс его прикрыть, если так можно.
Установил для Рамблера запрет отдельно, надеюсь, поможет. Скажите, пожалуйста, а можно ли устанавливать запрет для определенного IP? Если да, то как?
Робот Рамблера решил так как искал этот IP через Яндекс и нашёл обсуждение форума, там народ приводил примеры из своих логов. К своим логам у меня доступа нет, к сожалению, поэтому не могу посмотреть, но статистика самого сайта засекла данный IP адрес, по нему и искал. Запрету около недели, все роботы успокоились, не лезут туда, а вот Рамблер на днях пролез с какого-то IP, проверил его, там были данные именно Рамблера, и тут ещё этот IP сегодня.
У меня ведь стоит звезочка вместо имени робота, разве робот Яху не реагирует на неё, его нужно именно носом ткнуть, или он реагирует не сразу, или ещё что-то?
Нужно сделать, чтобы он не прорывался, как?
Большое спасибо за помощь :)
DmitryNa добавил 07.12.2008 в 15:35
Если я не ошибаюсь, то через мой роботс новый прорвался робот Яху - http://www.webnames.ru/scripts/whois.pl?domain_name=67.195.37.89 , подскажите, пожалуйста, как быть?
Отлично, спасибо :)
Т.е. все внутренние папки и файлы будут недоступны для роботов, верно?
