Когда Яша страницы индексит?

Когда вздумается:D

Ночью, в громешной тьме, робот Яндекса выходит на охоту. Рыщет, бродит и находит самых больных и немощных серверов. Жестоко расправляется с ними, глумиться над останками и исчезает в темноте. :)

А если серьезно, меняйте сервер, если его один робот кладет.

Я знаю, особой жестокостью к серверам относился робот ВебАльты.

На счет Яндекс-робота такого в принципе не замечал. На моих серверах куча сайтов и ни разу их роботы не ложили, могли только обычные юзвери положить в дни аврального интереса к моим сайтам и то редко.

Самый прожорливый робот на сколько я слышал это MSN, некоторые даже специально закрываются от него в robots.txt

совершенно напрасно :)

МСН - настольный поисковик некоторых офисных работников ;)

Мож он только на избранных кидается 😂

В логах никогда не замечал, чтобы мсновкий бот много кушал. По прожоливости он уступает многим.