Дибилоидный bing по 100500 раз скачивает страницу за обход

L

220

livetv

12 апреля 2017, 08:50

2794

За минуту одну и ту же страницу скачивает по 6 раз.

В чем соль?

173

yodda

13 апреля 2017, 08:10

#1

В robots.txt

User-agent: bingbot

Crawl-delay: 30

L

220

livetv

13 апреля 2017, 08:13

#2

Ну будет скачивать страницу 6 раз за 3 минуты :)

На многих сайтах я вообще забанил его за ненадобностью :)

173

yodda

13 апреля 2017, 08:14

#3

Зря, мне на одном сайте он приносит 30% посетителей. :) Причем выстрелил неожиданно

452

Ingvarr

14 апреля 2017, 07:18

#4

yodda:
Зря, мне на одном сайте он приносит 30% посетителей. :) Причем выстрелил неожиданно

а какой язык текстов на сайте?