Дибилоидный bing по 100500 раз скачивает страницу за обход

L
На сайте с 10.02.2015
Offline
132
2778

За минуту одну и ту же страницу скачивает по 6 раз.

В чем соль?

Y
На сайте с 22.03.2017
Offline
118
#1

В robots.txt

User-agent: bingbot

Crawl-delay: 30

L
На сайте с 10.02.2015
Offline
132
#2

Ну будет скачивать страницу 6 раз за 3 минуты :)

На многих сайтах я вообще забанил его за ненадобностью :)

/ru/forum/952399

Y
На сайте с 22.03.2017
Offline
118
#3

Зря, мне на одном сайте он приносит 30% посетителей. :) Причем выстрелил неожиданно

Ingvarr
На сайте с 26.04.2009
Offline
429
#4
yodda:
Зря, мне на одном сайте он приносит 30% посетителей. :) Причем выстрелил неожиданно

а какой язык текстов на сайте?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий