Наблюдения за поисковыми роботами.

День добрый.

Хочу поделиться некоторыми наблюдениями и послушать мнения уважаемого сообщества по данной теме.

1. Поисковые роботы Яндекса начали посещать сайты несколько в ином режиме, нежели прежде. Если раньше робот заходил один раз в 7-10 дней и забирал порядка 500 страниц, то сейчас он ходит почти каждый день и берет 5-20 страниц + раз в 7-10 дней он берет большую порцию страниц (какого либо явного лимита неулавливается). Такую картину наблюдаю по нескольким сайтам. Помоему все это очень похоже на то, как ходит робот Гугля.

2. Вчера на одном подопечном ресурсе робот Яндекса окучил 7559 страниц. Там же вчера робот Гугля взял 791 страницу. К тому моменту когда на сайте появился гугльбот яндекс съел около 4000 страниц. После того как гугльбот съел первую страницу яндексовский бот исчез. Гугль работал около часа. После того как он закончил в течении 3 минут на сайт вернулся робот яндекса. Наверное это что-то из серии того, что боты умные и неперегружают сервер :D Уже не первый раз наблюдаю подобное. Интересно, как бот определяет загрузку сервера?