Жадный БОТ

REBUS
На сайте с 20.02.2003
Offline
109
566

Вывалили недельки 3 назад на сервер жирненький сайт, Гугловский бот жрет его как бешеный. Непойму в чем дело, ну побили мы его на субдомены, ну дали ПР в кучу разных точек ... дык всегда так делаем, но сейчас чета аппетит у бота совсем нездоровый ;)

Вот дата/заходы бота за этот месяц:

16 feb :: 17553

15 feb :: 13921

14 feb :: 11860

13 feb :: 12474

12 feb :: 12169

11 feb :: 12102

10 feb :: 11666

9 feb :: 624

8 feb :: 4068

7 feb :: 10715

6 feb :: 8670

5 feb :: 8768

4 feb :: 7712

3 feb :: 9874

2 feb :: 8664

1 feb :: 10008

Я конечно не обламываюсь, всегда бы так, но интересно в чем дело ? Ктонидь наблюдает аналогичное ?

S
На сайте с 26.05.2003
Offline
104
#1

Абсолютно нормальная ситуация. Может и поболее жрать за сутки...

Самое жуткое когда он одни и те же файлы по много раз в течение суток съедает - серверу ну ооочень тяжело становится.

...и этим все сказано
REBUS
На сайте с 20.02.2003
Offline
109
#2
Как писал Sommet
Абсолютно нормальная ситуация. Может и поболее жрать за сутки...

Самое жуткое когда он одни и те же файлы по много раз в течение суток съедает - серверу ну ооочень тяжело становится.

Нормально когда ПРистые страницы жрет, а тут сайт свежий - бар белый. Сервер тьфу-тьфу пока справляется :)

mnt
На сайте с 11.11.2002
Offline
107
mnt
#3

наверно линки ему очень нравятся, одна "статика" наверно на сайте, причем не глубокая.

p.s. насчет рекордов выжирания: замечено, что за один день бот с одного домена выжирал под 50 тыс страниц и так несколько дней подряд.

дорого куплю ссылки с хороших жирных русскоязычных авто сайтов.
REBUS
На сайте с 20.02.2003
Offline
109
#4
Как писал mnt
наверно линки ему очень нравятся, одна "статика" наверно на сайте, причем не глубокая.

Конечно на сайте одна статика и не глубокая, под поисковики та затачаивали ;) ... линков внешних дали тыщ на 10 разных точек, с другими проектам так-же действовали, но такой активности небыло. Может Гугл усиленно расширяет базу засчет новых проектов побаиваясь развода с Яхой и прочих перетасовок на рынке поисковиков ?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий