Боты бинга озверели

Аналогично на пару сайтах! Пришлось закрыть! Не смог его замедлить!

Я бы порекомендовал сначала удостовериться, действительно ли это боты Бинга. Возможно, кто-то маскирует свои деструктивные действия под bingbot.

Столкнулся с тем же.

Заблокировал бота бинга на непродвигаемых сайтах.

Сайты большого размера пришлось перенести на отдельный хостинг.

Проблема в том, что в 2010 году сайт с посещалкой 500 живых человек нагружал шаред хостинг всего на 1-2 cp из 50 cp. Сейчас же ботов судя по логам процентов 90 при той же посещаемости, и иногда они даже завешивают сервер, потому что умудряются сканить по 5-10-20 страниц одновременно. Происходит завешивание httpd процессов. Вот это печально.

какой айпишник у бота ?

65.52.104.0/24, 65.52.108.0/22, 65.55.24.0/24, 65.55.52.0/24, 65.55.55.0/24, 65.55.213.0/24, 65.55.217.0/24, 131.253.24.0/22, 131.253.46.0/23, 40.77.167.0/24, 199.30.27.0/24, 157.55.16.0/23, 157.55.18.0/24, 157.55.32.0/22, 157.55.36.0/24, 157.55.48.0/24, 157.55.109.0/24, 157.55.110.40/29, 157.55.110.48/28, 157.56.92.0/24, 157.56.93.0/24, 157.56.94.0/23, 157.56.229.0/24, 199.30.16.0/24, 207.46.12.0/23, 207.46.192.0/24, 207.46.195.0/24, 207.46.199.0/24, 207.46.204.0/24, 157.55.39.0/24

у меня почти весь диапазон 157.55.39.* и 207.46.13.1* по Whois все лезут из Microsoft Corporation заблокировала по юзерагенту bingbot - стали страницу 403 получать, но при этом все равно пытаться лезть не перестали.

они и не перестанут лезть. только долю в бинге потерять можно, заходить все равно будут. попробуй добавить задержку индексации для всех поисковиков или в панели управления бинга выставить периодичность (если такое у них есть)

levchernenko, В бинг вэбмастере есть распределение интенсивности сканирования по времени суток, я выставила минимум везде - но боты не поменяли своего поведения. Трафика с бинга кот наплакал, а вот игнорировать robots.txt - это уже хамство, так что пусть в 403 стукаются.

Могобыть я что то не понимаю, но эта проблема мне напомнила ситуёвину из анека когда кошелёк порвался...

Слонн, поделитесь анекдотом :-)

---------- Добавлено 31.12.2015 в 18:03 ----------

[Thu Dec 31 11:50:24 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 11:50:40 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/\xd1\x91\xd0\xbc\xd0\xba\xd0\xbe\xd1\x81\xd1\x82\xd0\xb8-\xd0\xb4\xd0\xbb\xd1\x8f-\xd1\x85\xd1\x80\xd0\xb0\xd0\xbd\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8f-\xd0\xbe\xd0\xb4\xd0\xb5\xd0\xb6\xd0\xb4\xd1\x8b

[Thu Dec 31 11:59:09 2015] [error] [client 157.55.39.212] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 11:59:13 2015] [error] [client 157.55.39.212] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbc\xd0\xb5\xd0\xbb\xd0\xba\xd0\xb0\xd1\x8f-\xd0\xb1\xd1\x8b\xd1\x82\xd0\xbe\xd0\xb2\xd0\xb0\xd1\x8f-\xd1\x82\xd0\xb5\xd1\x85\xd0\xbd\xd0\xb8\xd0\xba\xd0\xb0

[Thu Dec 31 12:58:44 2015] [error] [client 157.55.39.30] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 12:58:52 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd1\x83\xd1\x82\xd1\x8e\xd0\xb3-bosch-sensixxx-da50-tda503011p

[Thu Dec 31 15:05:38 2015] [error] [client 157.55.39.30] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd1\x80\xd1\x8f\xd0\xb6\xd0\xb0-\xd0\xb2\xd0\xb8\xd0\xb3\xd0\xbe\xd0\xbd\xd0\xb5\xd0\xb2\xd0\xb0\xd1\x8f-100\xd0\xb3\xd1\x80-150\xd0\xbc-30\xd1\x88\xd0\xb5\xd1\x80\xd1\x81\xd1\x82\xd1\x8c-70\xd0\xb0\xd0\xba\xd1\x80\xd0\xb8\xd0\xbb-19

[Thu Dec 31 17:20:35 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 17:20:38 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd0\xbb\xd0\xb5\xd0\xb4-\xd0\xba\xd1\x80\xd1\x8e\xd1\x87\xd0\xba\xd0\xbe\xd0\xbc

[Thu Dec 31 18:39:23 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 18:39:28 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd1\x80\xd1\x8f\xd0\xb6\xd0\xb0

[Thu Dec 31 18:53:07 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd0\xbe\xd0\xb4\xd1\x83\xd1\x88\xd0\xba\xd0\xb8-\xd0\xb8-\xd0\xbf\xd0\xbb\xd0\xb5\xd0\xb4\xd1\x8b

[Thu Dec 31 19:20:49 2015] [error] [client 157.55.39.211] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 19:20:53 2015] [error] [client 157.55.39.212] client denied by server configuration: /var/www/*******/data/www/*******/\xd1\x83\xd1\x82\xd1\x8e\xd0\xb3-vitesse-vs-655

[Thu Dec 31 19:39:56 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 19:40:01 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd0\xb0\xd0\xbf\xd0\xba\xd0\xb0-\xd0\xb4\xd0\xbb\xd1\x8f-\xd1\x87\xd0\xb5\xd1\x80\xd1\x87\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8f

[Thu Dec 31 19:56:53 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xb1\xd1\x80\xd0\xb0\xd0\xb4\xd1\x81\xd1\x8b

[Thu Dec 31 20:26:38 2015] [error] [client 180.76.15.147] client denied by server configuration: /var/www/*******/data/www/*******/

[Thu Dec 31 20:26:38 2015] [error] [client 180.76.15.135] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 20:28:09 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 20:29:03 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/5m-20-led-solar-string-light-for-xmas-party - у меня за последнюю неделю километры таких логов.

По мне так это больше не на анекдот, а на идиотизм похоже. Самое интересное, что в robots.txt соблаговолило это чудо заглянуть только после бана. Очередное кривое детище Майкрасофта.

Яндекс можно за многое ругать - но в одном его точно нельзя упрекнуть - его боты четко придерживаются robots.txt - лично проверяла.