Nicholas

Перечислять все не буду, они разные бывают, поэтому дам наводящие ссылки:

• <A HREF="http://www.spiderhunter.com/
• " TARGET=_blank>http://www.spiderhunter.com/
• </A> <A HREF="http://www.robotstxt.org/wc/robots.html
• " TARGET=_blank>http://www.robotstxt.org/wc/robots.html
• </A> <A HREF="http://searchenginewatch.internet.com/webmasters/spiderchart.html
• " TARGET=_blank>http://searchenginewatch.internet.com/webmasters/spiderchart.html
• </A> http://www.searchengineworld.com/spiders/spider_ips.htm

[This message has been edited by Nicholas (edited 07-09-2001).]

а адрес такой же кудрявый останется? Насколько я понял тут нет группировки по ПС, когда один и тот же документ найден в нескольких ПС.

PS: metabot.ru работает побыстрее.

Слухам не верю, и потому уже вторую неделю гугль ходит (реиндексирует), как по русской так и по англоязычной части сервера.

PS: В свое время подсовывал ему два site map'a на двух языках.

[This message has been edited by Nicholas (edited 07-09-2001).]

Думаю за издержки дизайна банить не будут, поводов забанить им и так хвататет. Не враги они себе, чтобы базу так резать. Ведь это может быть какая-нибудь публикация с невидимыми (1х1) счетчиками.

а зачем Вам это?

А на счет почитать, если не изменяет память на spider-food.net в разделе Dynamic Web Pages описывался способ подобный тому, о чем говорит Gray, на примере книжного магазина.

а я вот здесь немногно нашел:

http://www.spiderhunter.com/nonspiders/

Большое спасибо, уже понятнее.

PS: В NL еще добавляется &orl=2:1 вот это я не понял что есть такое.

Что-то я не очень разобрался как они это исследовали!..

Что-то все молчат как партизаны:

http://www.searchengineshowdown.com/features/wisenut/review.html