Дибилоидный bing по 100500 раз скачивает страницу за обход

L
На сайте с 10.02.2015
Offline
159
2785

За минуту одну и ту же страницу скачивает по 6 раз.

В чем соль?

Y
На сайте с 22.03.2017
Offline
131
#1

В robots.txt

User-agent: bingbot

Crawl-delay: 30

L
На сайте с 10.02.2015
Offline
159
#2

Ну будет скачивать страницу 6 раз за 3 минуты :)

На многих сайтах я вообще забанил его за ненадобностью :)

/ru/forum/952399

Y
На сайте с 22.03.2017
Offline
131
#3

Зря, мне на одном сайте он приносит 30% посетителей. :) Причем выстрелил неожиданно

Ingvarr
На сайте с 26.04.2009
Offline
441
#4
yodda:
Зря, мне на одном сайте он приносит 30% посетителей. :) Причем выстрелил неожиданно

а какой язык текстов на сайте?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий