Нужны UserAgents поисковых роботов

http://www.robotstxt.org/wc/active/html/index.html

+ в Гугле поищите. Там этого добра навалом.

Спасибо, а кто знает где русских найти?

Яндекс...

D - addurl

I - индексатор

H - зеркальщик

P - картиночник

M - подсветчик

Рамблер... StackRambler

Апорт... Aport.

В логи иногда заглядывайте.

Спасибо, но уж что-то лениво вручную логи смотреть, особенно большие.

Для этого есть анализаторы логов (типа webalizer).

так он зараза только 15 штук выводит и они все мазилы

Там есть такой файлик webalizer.conf

В нем пропишите...

AllAgents yes

AllReferrers yes

AllURLs yes

И все у вас будет.;)

Спасибо конечно, но тяжело себе представить как будут грузиться десятки тысяч ссылок:)

Вы webalizer к Гуглу прикручиваете?;):)

Не волнуйтесь. Если у вас обычный раскрученный сайт, нормально все подгрузится.