Активность роботов (индексация сайта)

Собственно хочу начать обсуждение таких вопросов как индексация поисковиками наших сайтов.

Роботи або павуки-вiдвiдувачi 63 рiзних роботiв Попадань Розмiр Останнiй вiзит 

Yahoo Slurp 195729+750 1.26 ГБ 24 Лип 2007 - 00:22 

Googlebot 95618+133 679.08 МБ 24 Лип 2007 - 00:22 

Yandex bot 59466+128 1014.48 МБ 23 Лип 2007 - 15:30 

Unknown robot (identified by 'bot/' or 'bot-') 19704+118 419.37 МБ 24 Лип 2007 - 00:21 

Unknown robot (identified by 'crawl') 17070+203 367.75 МБ 23 Лип 2007 - 21:22 

Unknown robot (identified by 'robot') 10883+47 203.50 МБ 24 Лип 2007 - 00:21 

MSNBot 8644+1453 168.33 МБ 24 Лип 2007 - 00:17 

MSNBot-media 9898+99 218.80 МБ 23 Лип 2007 - 21:18 

StackRambler 6421+9 137.75 МБ 24 Лип 2007 - 00:19 

Yahoo-MMCrawler 5314+35 430.67 кБ 23 Лип 2007 - 20:36 

Unknown robot (identified by 'spider') 2711+3 59.04 МБ 23 Лип 2007 - 17:29 

Turtle 1214 30.43 МБ 23 Лип 2007 - 22:12 

GigaBot 897+41 16.24 МБ 23 Лип 2007 - 22:30 

ASpider (Associative Spider) 731+1 3.72 МБ 05 Лип 2007 - 05:20 

IRLbot 486+4 2.56 МБ 23 Лип 2007 - 22:28 

Nutch 244+215 5.48 МБ 23 Лип 2007 - 23:21 

Yahoo! Slurp China 251+196 1.54 МБ 24 Лип 2007 - 00:17 

MSIECrawler 287+52 3.82 МБ 23 Лип 2007 - 21:59 

MJ12bot 301+3 4.22 МБ 22 Лип 2007 - 13:45 

Unknown robot (identified by hit on 'robots.txt') 0+256 8.40 кБ 23 Лип 2007 - 21:48 

InternetSeer 216 0 23 Лип 2007 - 22:06 

Alexa (IA Archiver) 171+29 4.02 МБ 23 Лип 2007 - 19:25 

Findlinks 130+27 2.37 МБ 23 Лип 2007 - 11:26 

PortalB Spider 80 1.47 МБ 23 Лип 2007 - 20:18 

Speedy Spider 49+29 941.97 кБ 23 Лип 2007 - 07:51 

The web archive (IA Archiver) 0+50 1.66 кБ 23 Лип 2007 - 18:15 

archive.org bot 45+1 461.89 кБ 03 Лип 2007 - 07:11 

Google AdSense 45 1006.32 кБ 23 Лип 2007 - 14:30 

lwp-trivial 42+1 1.21 МБ 24 Лип 2007 - 00:21 

YahooSeeker Yahoo! Blog crawler 38+2 687.02 кБ 20 Лип 2007 - 07:26 

Exabot 16+14 108.49 кБ 22 Лип 2007 - 23:59 

psbot 14+14 11.64 МБ 14 Лип 2007 - 20:03 

VWbot 13+14 303.20 кБ 12 Лип 2007 - 21:32 

Aport 25 589.66 кБ 23 Лип 2007 - 00:38 

ichiro 14+4 12.68 МБ 12 Лип 2007 - 00:37 

UP.Browser 17 302.12 кБ 19 Лип 2007 - 02:07 

Heritrix 14+3 603.88 кБ 18 Лип 2007 - 14:16 

Ask 7+7 93.65 кБ 21 Лип 2007 - 22:20 

TencentTraveler 12 43.07 кБ 20 Лип 2007 - 12:51 

BaiDuSpider 10+2 190.27 кБ 23 Лип 2007 - 18:19 

Python-urllib 8 211.06 кБ 13 Лип 2007 - 23:02 

Z-Add Link Checker 6 0 18 Лип 2007 - 04:57 

Internet Shinchakubin 5+1 28.20 кБ 19 Лип 2007 - 13:04 

Java (Often spam bot) 6 2.78 МБ 21 Лип 2007 - 06:01 

Muncher 5 51.95 кБ 05 Лип 2007 - 14:34 

NimbleCrawler 4+1 72.93 кБ 23 Лип 2007 - 16:03 

Powermarks 4 70.35 кБ 10 Лип 2007 - 13:20 

ZyBorg 3 44.34 кБ 11 Лип 2007 - 19:25 

Gaisbot 2+1 5.99 кБ 05 Лип 2007 - 21:42 

Bloodhound 1+1 18.44 кБ 03 Лип 2007 - 15:10 

Holmes 1+1 19.07 кБ 16 Лип 2007 - 05:18 

SynooBot 1+1 6.26 кБ 04 Лип 2007 - 06:14 

lanshanbot 1+1 18.60 кБ 08 Лип 2007 - 18:35 

CFNetwork 2 6.37 МБ 13 Лип 2007 - 15:08 

Girafabot 0+2 68 байтiв 19 Лип 2007 - 06:31 

ExactSeek Crawler 1+1 18.53 кБ 04 Лип 2007 - 12:30 

topicblogs 1+1 15.99 кБ 01 Лип 2007 - 10:19 

Xenu Link Sleuth 2 0 22 Лип 2007 - 07:01 

HTTrack off-line browser 2 9.68 кБ 21 Лип 2007 - 19:55 

WordPress 2 47.56 кБ 19 Лип 2007 - 19:02 

Microsoft URL Control 1 18.72 кБ 08 Лип 2007 - 12:19 

W3C Validator 1 19.04 кБ 16 Лип 2007 - 02:23 

Netcraft 1 0 10 Лип 2007 - 10:21 

Это моя статистика за этот месяц сгенереная awstats

Сайт из 20-25К статических страниц.

Сервер находится в Украине на дедике. Примечательно что когда сайт находился у хостера на общем сервере поисковики вели себя в три раза менее активно.

Чему не рад - очень много трафа кушает Yahoo и MSN - в то же время с них люди не ходят вообще. Кто знает как их можно отсечь?

И что это за звери?: