Гугл боты толпами умеют ходить, а я и незнал :)

Добавил новый сайт в гугл полтора месяца назад. Первые несколько дней он ел по пару тыщ станиц, съел около 15K, потом забил на сайт почти на месяц, так заглядывал раз в пару дней, брал по 10 страниц и сваливал. Потом постепенно начал опять набирать аппетит, по 50, по 70, 120 и т.д. страниц.

Ходил всегда один(с одного IP), ну максимум вдвоём.))

А сегодня глянул в статистику, а там(после хоста - хиты):

crawl-66-249-66-66.googlebot.com 220

crawl-66-249-64-38.googlebot.com 1

crawl-66-249-64-37.googlebot.com 1

crawl-66-249-71-39.googlebot.com 1

crawl-66-249-71-28.googlebot.com 1

crawl-66-249-64-28.googlebot.com 1

crawl-66-249-64-55.googlebot.com 3

crawl-66-249-64-33.googlebot.com 1

crawl-66-249-64-79.googlebot.com 2

crawl-66-249-64-30.googlebot.com 2

crawl-66-249-64-66.googlebot.com 2

crawl-66-249-64-39.googlebot.com 5

crawl-66-249-71-40.googlebot.com 3

crawl-66-249-71-72.googlebot.com 5

crawl-66-249-71-73.googlebot.com 1

crawl-66-249-71-67.googlebot.com 1

crawl-66-249-64-68.googlebot.com 2

crawl-66-249-64-58.googlebot.com 2

crawl-66-249-71-29.googlebot.com 3

crawl-66-249-71-70.googlebot.com 4

Чё за прикол такой? Пока писал, он ещё с одного нового IP-шника зашел. Начал он это дело в 20:23 (2 часа назад)

Причем все боты, что по 1-5 страниц кушали - ели только те страницы на которые ссыки с корневой, грубо говоря главные разделы(уже давно съеденные), а тот что 200 съел - жрал всё вподряд.

:bl:

Ваши комментарии, уважаемые гуру?