Боты бинга озверели

12
ana_koza
На сайте с 23.12.2015
Offline
16
7451

Со вчерашнего дня наблюдаю такую картину: роботы Бинга как ненормальные скачут по нескольким сайтам, сервер подгружают.

Снижение частоты сканирования в Бинг вэбмастере - ноль реакции.

Crawl-delay - тоже самое.

User-agent: bingbot

Disallow: / - даже не чихнул редиска.

Помог только полный бан.

Кто-нибудь с таким сталкивался в последнее время?

A3
На сайте с 23.12.2012
Offline
66
#1
ana_koza:
Со вчерашнего дня наблюдаю такую картину: роботы Бинга как ненормальные скачут по нескольким сайтам, сервер подгружают.
Снижение частоты сканирования в Бинг вэбмастере - ноль реакции.
Crawl-delay - тоже самое.
User-agent: bingbot
Disallow: / - даже не чихнул редиска.
Помог только полный бан.
Кто-нибудь с таким сталкивался в последнее время?

Аналогично на пару сайтах! Пришлось закрыть! Не смог его замедлить!

M
На сайте с 21.06.2001
Offline
106
#2

Я бы порекомендовал сначала удостовериться, действительно ли это боты Бинга. Возможно, кто-то маскирует свои деструктивные действия под bingbot.

С уважением,Metabot.ru
28
На сайте с 31.10.2009
Offline
116
#3
ana_koza:
Со вчерашнего дня наблюдаю такую картину: роботы Бинга как ненормальные скачут по нескольким сайтам, сервер подгружают.
Снижение частоты сканирования в Бинг вэбмастере - ноль реакции.
Crawl-delay - тоже самое.
User-agent: bingbot
Disallow: / - даже не чихнул редиска.
Помог только полный бан.
Кто-нибудь с таким сталкивался в последнее время?

Столкнулся с тем же.

Заблокировал бота бинга на непродвигаемых сайтах.

Сайты большого размера пришлось перенести на отдельный хостинг.

Проблема в том, что в 2010 году сайт с посещалкой 500 живых человек нагружал шаред хостинг всего на 1-2 cp из 50 cp. Сейчас же ботов судя по логам процентов 90 при той же посещаемости, и иногда они даже завешивают сервер, потому что умудряются сканить по 5-10-20 страниц одновременно. Происходит завешивание httpd процессов. Вот это печально.

Борец за чистоту Интернета.
some_name
На сайте с 26.12.2015
Offline
20
#4

какой айпишник у бота ?

L
На сайте с 30.10.2015
Offline
34
#5

65.52.104.0/24, 65.52.108.0/22, 65.55.24.0/24, 65.55.52.0/24, 65.55.55.0/24, 65.55.213.0/24, 65.55.217.0/24, 131.253.24.0/22, 131.253.46.0/23, 40.77.167.0/24, 199.30.27.0/24, 157.55.16.0/23, 157.55.18.0/24, 157.55.32.0/22, 157.55.36.0/24, 157.55.48.0/24, 157.55.109.0/24, 157.55.110.40/29, 157.55.110.48/28, 157.56.92.0/24, 157.56.93.0/24, 157.56.94.0/23, 157.56.229.0/24, 199.30.16.0/24, 207.46.12.0/23, 207.46.192.0/24, 207.46.195.0/24, 207.46.199.0/24, 207.46.204.0/24, 157.55.39.0/24

...
ana_koza
На сайте с 23.12.2015
Offline
16
#6

у меня почти весь диапазон 157.55.39.* и 207.46.13.1* по Whois все лезут из Microsoft Corporation заблокировала по юзерагенту bingbot - стали страницу 403 получать, но при этом все равно пытаться лезть не перестали.

L
На сайте с 30.10.2015
Offline
34
#7

они и не перестанут лезть. только долю в бинге потерять можно, заходить все равно будут. попробуй добавить задержку индексации для всех поисковиков или в панели управления бинга выставить периодичность (если такое у них есть)

ana_koza
На сайте с 23.12.2015
Offline
16
#8

levchernenko, В бинг вэбмастере есть распределение интенсивности сканирования по времени суток, я выставила минимум везде - но боты не поменяли своего поведения. Трафика с бинга кот наплакал, а вот игнорировать robots.txt - это уже хамство, так что пусть в 403 стукаются.

Слонн
На сайте с 18.07.2011
Offline
249
#9

Могобыть я что то не понимаю, но эта проблема мне напомнила ситуёвину из анека когда кошелёк порвался...

Заработать на файлообменниках реально? (http://zarabotayxyz.ixbb.ru/)
ana_koza
На сайте с 23.12.2015
Offline
16
#10

Слонн, поделитесь анекдотом :-)

---------- Добавлено 31.12.2015 в 18:03 ----------

[Thu Dec 31 11:50:24 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 11:50:40 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/\xd1\x91\xd0\xbc\xd0\xba\xd0\xbe\xd1\x81\xd1\x82\xd0\xb8-\xd0\xb4\xd0\xbb\xd1\x8f-\xd1\x85\xd1\x80\xd0\xb0\xd0\xbd\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8f-\xd0\xbe\xd0\xb4\xd0\xb5\xd0\xb6\xd0\xb4\xd1\x8b

[Thu Dec 31 11:59:09 2015] [error] [client 157.55.39.212] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 11:59:13 2015] [error] [client 157.55.39.212] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbc\xd0\xb5\xd0\xbb\xd0\xba\xd0\xb0\xd1\x8f-\xd0\xb1\xd1\x8b\xd1\x82\xd0\xbe\xd0\xb2\xd0\xb0\xd1\x8f-\xd1\x82\xd0\xb5\xd1\x85\xd0\xbd\xd0\xb8\xd0\xba\xd0\xb0

[Thu Dec 31 12:58:44 2015] [error] [client 157.55.39.30] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 12:58:52 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd1\x83\xd1\x82\xd1\x8e\xd0\xb3-bosch-sensixxx-da50-tda503011p

[Thu Dec 31 15:05:38 2015] [error] [client 157.55.39.30] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd1\x80\xd1\x8f\xd0\xb6\xd0\xb0-\xd0\xb2\xd0\xb8\xd0\xb3\xd0\xbe\xd0\xbd\xd0\xb5\xd0\xb2\xd0\xb0\xd1\x8f-100\xd0\xb3\xd1\x80-150\xd0\xbc-30\xd1\x88\xd0\xb5\xd1\x80\xd1\x81\xd1\x82\xd1\x8c-70\xd0\xb0\xd0\xba\xd1\x80\xd0\xb8\xd0\xbb-19

[Thu Dec 31 17:20:35 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 17:20:38 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd0\xbb\xd0\xb5\xd0\xb4-\xd0\xba\xd1\x80\xd1\x8e\xd1\x87\xd0\xba\xd0\xbe\xd0\xbc

[Thu Dec 31 18:39:23 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 18:39:28 2015] [error] [client 207.46.13.100] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd1\x80\xd1\x8f\xd0\xb6\xd0\xb0

[Thu Dec 31 18:53:07 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd0\xbe\xd0\xb4\xd1\x83\xd1\x88\xd0\xba\xd0\xb8-\xd0\xb8-\xd0\xbf\xd0\xbb\xd0\xb5\xd0\xb4\xd1\x8b

[Thu Dec 31 19:20:49 2015] [error] [client 157.55.39.211] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 19:20:53 2015] [error] [client 157.55.39.212] client denied by server configuration: /var/www/*******/data/www/*******/\xd1\x83\xd1\x82\xd1\x8e\xd0\xb3-vitesse-vs-655

[Thu Dec 31 19:39:56 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 19:40:01 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xbf\xd0\xb0\xd0\xbf\xd0\xba\xd0\xb0-\xd0\xb4\xd0\xbb\xd1\x8f-\xd1\x87\xd0\xb5\xd1\x80\xd1\x87\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8f

[Thu Dec 31 19:56:53 2015] [error] [client 157.55.39.29] client denied by server configuration: /var/www/*******/data/www/*******/\xd0\xb1\xd1\x80\xd0\xb0\xd0\xb4\xd1\x81\xd1\x8b

[Thu Dec 31 20:26:38 2015] [error] [client 180.76.15.147] client denied by server configuration: /var/www/*******/data/www/*******/

[Thu Dec 31 20:26:38 2015] [error] [client 180.76.15.135] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 20:28:09 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/robots.txt

[Thu Dec 31 20:29:03 2015] [error] [client 40.77.167.4] client denied by server configuration: /var/www/*******/data/www/*******/5m-20-led-solar-string-light-for-xmas-party - у меня за последнюю неделю километры таких логов.

По мне так это больше не на анекдот, а на идиотизм похоже. Самое интересное, что в robots.txt соблаговолило это чудо заглянуть только после бана. Очередное кривое детище Майкрасофта.

Яндекс можно за многое ругать - но в одном его точно нельзя упрекнуть - его боты четко придерживаются robots.txt - лично проверяла.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий