Боты Яндекса вечером и ночью

12 3
SubAqua
На сайте с 21.10.2005
Offline
199
1521

ип и число запросов

87.250.230.5=5354

87.250.231.7=111637

87.250.231.8=2994

87.250.231.14=9903

87.250.231.13=8984

87.250.231.9=4487

87.250.231.1=1472

87.250.231.12=3510

87.250.231.6=1367

213.180.217.17=3041

213.180.217.7=16359

213.180.206.2=16242

213.180.217.12=2915

213.180.217.22=3608

213.180.206.1=12623

213.180.217.21=8493

213.180.217.16=3930

213.180.216.7=603

213.180.216.223=566

213.180.206.4=2096

213.180.206.3=7687

213.180.216.11=2515

213.180.217.20=2742

213.180.217.19=2614

213.180.216.8=3093

213.180.207.245=220

213.180.216.5=1160

213.180.193.53=68

213.180.198.130=68

213.180.206.247=581

213.180.217.18=2264

213.180.207.25=401

213.180.206.248=2125

213.180.217.5=2596

213.180.207.224=2

213.180.217.219=2313

213.180.206.234=2191

213.180.206.29=1810

213.180.207.26=2237

213.180.206.30=2048

213.180.207.230=1535

Вот это один из сайтов получает каждый день, причем в период с 20-00 вечера и строго до 10-00 утра, и так каждый день. Только у меня наблюдается такое вечернее оживление ботов?

Самое интересное то, что при такой активности сайт не пополняется новыми страницами в индексе.

K
На сайте с 31.01.2001
Offline
737
#1

А, так вот где боты пропадают! Чем вы там вкусным намазали, расскажите, как их заманить на редкоизменяемые страницы большого популярного сайта?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
bonzaza
На сайте с 10.06.2006
Offline
82
#2

а названия ботов можно в студию ? а то вдруг не те :)

Если не мы, то кто?
Real
На сайте с 24.05.2006
Offline
61
#3

SubAqua, У вас сайт или форум?

он самый (http://alexvolkov.ru)
S
На сайте с 17.10.2005
Offline
17
#4
SubAqua:

Вот это один из сайтов получает каждый день, причем в период с 20-00 вечера и строго до 10-00 утра, и так каждый день. Только у меня наблюдается такое вечернее оживление ботов?

Ночью:

1. Каналы меньше нагружены.

2. Сайты отзываются быстрее. Меньше возможности положить сайты.

Производительность пауков гораздо выше. Ночью качать выгоднее. Другое дело, что ночь в России понятие растяжимое из-за числа часовых поясов %)

SubAqua
На сайте с 21.10.2005
Offline
199
#5

Все один и тот же

site.ru 213.180.217.219 - - [16/Oct/2006:00:00:26 +0300] "GET /image/myics200/3.gif/mode2 HTTP/1.1" 200 182 "-" "Yandex/1.01.001 (compatible; Win16; P)"

site.ru 213.180.217.5 - - [16/Oct/2006:00:52:25 +0300] "GET /c81d/art4/ HTTP/1.1" 200 186 "-" "Yandex/1.01.001 (compatible; Win16; I)"

и html поглощает, и картинки.

SubAqua
На сайте с 21.10.2005
Offline
199
#6
Real:
SubAqua, У вас сайт или форум?

Сайт, форума нет, обычные html-страницы, контент плюс графика.

SZ
На сайте с 17.08.2005
Offline
63
#7

А бот всегда по ночам активизируется, если вы не замечали.

У меня тоже днем очень мало индексирует, 90% съедает по ночам.

И где-то вроде официальное объяснение было, что энто специально делается с целью снижения нагрузки на сервера, ибо днем обычно на порядок больше посещаемость, чем ночью.

bonzaza
На сайте с 10.06.2006
Offline
82
#8

только одну странность вижу - а откуда столько заходов

у вас на сайте сколько страниц ?

подтверждаю - у мня активизируется с 1.00 - 3.00 восновном

хотя иногда и днем заходит - например щас :)

Real
На сайте с 24.05.2006
Offline
61
#9
SubAqua:
Сайт, форума нет, обычные html-страницы

Получается боты по нескольку раз запрашивают одни и те-же страницы?

Можно сайт глянуть?

SubAqua
На сайте с 21.10.2005
Offline
199
#10
Real:
Получается боты по нескольку раз запрашивают одни и те-же страницы?
Можно сайт глянуть?

К сожалению адрес сайта дать не могу. Извините.

На сайте страниц довольно много, несколько десятков тысяч. Это прайс-листы, с детальными описаниями товаров, на страницы которых постоянно добавляются новые заметки (к конкретному товару свои), технические характеристики из паспортов-инструкций по пользованию, и т.д.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий