Kost: Пока не вижу проблемы. User-agent вы не указали и не знаете, мало ли что находится на этом IP.
В поиск Рамблера попали какие-то не те страницы? Где проблема-то?
Webexpert: Я сталкивался с такой ситуацией, определённый ip адрес создавал большую нагрузку на сервер. Для блокировки обратитесь в тех. поддержку Вашего хостинга, они должны предоставить Вам возможность заблокировать данный ip.
Мне бы не хотелось его вовсе блокировать, просто закрыть доступ к определенной дирректории и от неё производных дирректорий и файлов, чтобы он там не копался. Было бы очень удобно через роботс его прикрыть, если так можно.
Webexpert: Вы всё написали правильно (единственное, как правильно заметил Kost - почему это бот Рамблера?, ), попробуйте использовать запрет только для Рамблера:
User-agent: StackRambler
Disallow: /discussthis/
и общую конструкцию для всех роботов
User-agent: *
......
Установил для Рамблера запрет отдельно, надеюсь, поможет. Скажите, пожалуйста, а можно ли устанавливать запрет для определенного IP? Если да, то как?
Kost: Почему вы решили, что это бот Рамблера? Какой User-agent в логах?
Скачал ли этот бот /robots.txt ?
Когда появился запрет?
Робот Рамблера решил так как искал этот IP через Яндекс и нашёл обсуждение форума, там народ приводил примеры из своих логов. К своим логам у меня доступа нет, к сожалению, поэтому не могу посмотреть, но статистика самого сайта засекла данный IP адрес, по нему и искал. Запрету около недели, все роботы успокоились, не лезут туда, а вот Рамблер на днях пролез с какого-то IP, проверил его, там были данные именно Рамблера, и тут ещё этот IP сегодня.
У меня ведь стоит звезочка вместо имени робота, разве робот Яху не реагирует на неё, его нужно именно носом ткнуть, или он реагирует не сразу, или ещё что-то?
Talisman13: Всегда. Это первый файл к которому обращается робот.
PS Каждый раз при заходе на сайт. Допустим сегодня зашел робот обратился к robots.txt, скачал какие-то файлы. На следующий заход опять обращается к файлу.
Пока не вижу проблемы. User-agent вы не указали и не знаете, мало ли что находится на этом IP.
В поиск Рамблера попали какие-то не те страницы? Где проблема-то?
Вот строка из лога:
81.19.66.89 - - [17/Dec/2008:08:21:11 +0300] "GET /discussthis/new/584 HTTP/1.1" 302 - "-" "StackRambler/2.0 (MSIE incompatible)"
Значит это точно робот Рамблера, но он не реагирует на общий запрет, как ему запретить каталог /discussthis/ и всё, что в нём?
Ну и не парьтесь тогда.
Проблема то остаётся, нужно как-то решать.
Я сталкивался с такой ситуацией, определённый ip адрес создавал большую нагрузку на сервер. Для блокировки обратитесь в тех. поддержку Вашего хостинга, они должны предоставить Вам возможность заблокировать данный ip.
Мне бы не хотелось его вовсе блокировать, просто закрыть доступ к определенной дирректории и от неё производных дирректорий и файлов, чтобы он там не копался. Было бы очень удобно через роботс его прикрыть, если так можно.
Вы всё написали правильно (единственное, как правильно заметил Kost - почему это бот Рамблера?, ), попробуйте использовать запрет только для Рамблера:
User-agent: StackRambler
Disallow: /discussthis/
и общую конструкцию для всех роботов
User-agent: *
......
Установил для Рамблера запрет отдельно, надеюсь, поможет. Скажите, пожалуйста, а можно ли устанавливать запрет для определенного IP? Если да, то как?
Почему вы решили, что это бот Рамблера? Какой User-agent в логах?
Скачал ли этот бот /robots.txt ?
Когда появился запрет?
Робот Рамблера решил так как искал этот IP через Яндекс и нашёл обсуждение форума, там народ приводил примеры из своих логов. К своим логам у меня доступа нет, к сожалению, поэтому не могу посмотреть, но статистика самого сайта засекла данный IP адрес, по нему и искал. Запрету около недели, все роботы успокоились, не лезут туда, а вот Рамблер на днях пролез с какого-то IP, проверил его, там были данные именно Рамблера, и тут ещё этот IP сегодня.
Добавить в robots.txt:
User-agent: Slurp
Disallow: /
У меня ведь стоит звезочка вместо имени робота, разве робот Яху не реагирует на неё, его нужно именно носом ткнуть, или он реагирует не сразу, или ещё что-то?
И что в этом сверхъестественного?
Нужно сделать, чтобы он не прорывался, как?
Большое спасибо за помощь :)
DmitryNa добавил 07.12.2008 в 15:35
Если я не ошибаюсь, то через мой роботс новый прорвался робот Яху - http://www.webnames.ru/scripts/whois.pl?domain_name=67.195.37.89 , подскажите, пожалуйста, как быть?
Всегда. Это первый файл к которому обращается робот.
PS Каждый раз при заходе на сайт. Допустим сегодня зашел робот обратился к robots.txt, скачал какие-то файлы. На следующий заход опять обращается к файлу.
Отлично, спасибо :)
да правильно, вы закрыли от индексации директорию(папку) /discussthis/, и эта директория и все что в ней находится, индексироваться не будет.
Т.е. все внутренние папки и файлы будут недоступны для роботов, верно?