msnbot взбесился, что-ли ?

M
На сайте с 28.02.2004
Offline
45
2353

В прошлом месяце msnbot/0.11 (+http://search.msn.com/msnbot.htm) сделал более 100К хитов на одном домене и высосал более 2 гиг.

На нескольких других доменах хитов поменьше, но всё равно несоразмерно больше, чем количество страниц.

Трафа с msm как не было, так и нет.

А
На сайте с 29.07.2003
Offline
58
#1

Дай угадаю - а за зарубежный трафф. с тебя хостер денег хочет, да? :)

[Удален]
#2

Это у многих такое, действительно как взбесился. Может зациклился у него процесс, miscrosoft все же. :)

D
На сайте с 21.09.2003
Offline
53
#3

Microdeath, кинь ссылку на твой сайт в личку.

С уважением, DEkart Блог о Ruby on Rails (http://railorz.ru/) | Создание сайтов от 6999 рублей (http://lite.itvektor.ru)
M
На сайте с 28.02.2004
Offline
45
#4

Я бы только радовался этому, если бы msn давал траф. Но трафа как не было, так и нет.

В текущем месяце он уже сделал более 60К хитов.

[Удален]
#5

Так деятельность msnbot и выдача msn не связаны пока что.

J
На сайте с 16.06.2004
Offline
7
#6

У меня MSNbot за этот месяц слопал лишь 700 мб. Однако, у некоторых людей это число уже приближается к 15-20 гб.

Человек из команды MSN открывает небольшой секрет о том, как можно немного охладить пыл их паука:

I want to make folks aware of a feature that MSNBot supports, but which is not yet documented. We do support what we call a crawl delay. Basically it allows you to specify via robots.txt an amount of time (in seconds) that MSNBot should wait before retrieving another page from that host. The syntax in your robots.txt file would look something like:

User-Agent: msnbot
Crawl-Delay: 20

This instructs MSNBot to wait 20 seconds before retrieving another page from that host. If you think that MSNBot is being a bit aggresive this is a way to have it slow down on your host while still making sure that your pages are indexed.

Lor
На сайте с 28.05.2004
Offline
352
Lor
#7
Человек из команды MSN

Это официально написано от имени MSN или дурка, после которой бот вообще забудет про твой сайт? Ссылку в студию!

Йопез - форум без модераторов. https://yopez.com
J
На сайте с 16.06.2004
Offline
7
#8

Официально, от имени MSN на буржуйском форуме вебмастеров.

Как писал Lor

Это официально написано от имени MSN или дурка, после которой бот вообще забудет про твой сайт? Ссылку в студию!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий