Форум Сайтостроение Администрирование серверов

Как замедлить активность бота bingbot на уровне сервера?

Dreammaker
На сайте с 20.04.2006
Offline
570
Dreammaker
860

Описание проблемы: мультидоменный, точнее мультиподдоменный проект. В автоматически генерируемых роботсах указан crawl-delay. Но так как поддоменов много, то бот даже с учетом этого параметра начинает (д)досить сайт время от времени. Сейчас просто через .htaccess запретил заходы с их рефером (можно через nginx, но в его конфиги дольше лазить :) ), но тоже не выход, хотя и наконец в понедельник нет провала по заходам в середине дня. Хотелось бы как-то укротить прыть бота.

Может есть варианты какие-то? Единственное, что вижу - это после каждого захода через fail2ban смотреть логи заносить на несколько секунд в блок в iptables. Но это как-то извратно. Может есть что-то более интересное?

K5
На сайте с 21.07.2010
Offline
209
kgtu5
#1

ограничивать количество запросов в нгикс автоматом


http{
...
map $http_user_agent $limit_bots {
default '';
~*(bingbot|Googlebot|YandexBot|Yahoo|Mail.RU) $binary_remote_addr;
}
limit_req_zone $limit_bots zone=two:10m rate=3r/m;
...
}

и в location

limit_req zone=two burst=6 nodelay;
аська 45два48499два записки на работе (http://memoryhigh.ru) помогу с сайтом, удалю вирусы, настрою впс -> отзывы ТУТ (/ru/forum/836248) и ТАМ (http://www.maultalk.com/topic140187.html) !!!всегда проверяйте данные людей, которые сами пишут вам в аську или скайп!!!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий