Как задать интервал сканирования MajesticBot?

DV
На сайте с 01.05.2010
Offline
644
1098

Напал на мой сайт бот от www.majestic12.co.uk. Сканирует агрессивно, MySQL нагрузила процессор. Задал в robots.txt ограничение

Crawl-delay: 5

Request-rate: 1/5

Не слушается!

Забанил по IP. Какие есть ещё варианты?

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
DV
На сайте с 01.05.2010
Offline
644
#1

Новая напасть — Mail.Ru/1.0 накинулся на форум.

Вообще, я думал, что у них поиск от Google, а тут такое. Он, вообще, нужен?

DenisVS добавил 18.11.2010 в 02:23

Продолжаю банить MajesticBot. Уже 3-й IP из разных диапазонов. Что с ним сделать, куда жаловаться? Очень агрессивно сканирует, трафик потерпевшего сайта больше, чем у 11 других на этом же сервере, MySQL жрёт процессор... Как-то нужно по User Agent забанить, чтобы IP не отлавливать больше.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий