Когда же поисковые системы сделают общего робота?

Жалко серверов, запретите паукам заходить и они не будут никого топтать

да, база страниц получится общей. как мне кажется, уже настал тот момент, когда этот фактор не является конкурентным преимуществом. все умеют находить и скачивать много.

Никогда не сделают:)

чего спорим ?

идем сюда http://bloggreenwood.com/comments/3029_0_1_0_C/ и зарабатываем на ботах :) они-же и хорошие есть :)

Абдейд, хороший совет, умный. Собственно ограничивать активность пауков уже приходится. Наверно, не только мне.

ИМХО, ПС-ам это не привлекательно, ни с организационной, ни с технической, ни со стороны конкурентности.

Так они и так платят (будучи получателями трафика), только не владельцам сайтов, а владельцам каналов.

Не про деньги речь, а про нагрузку.

Так Google идет уже по пути снижения нагрузки. SiteMap. Это открытый протокол. Роботам не нужно искать ссылки на сайте, вычислять дату их изменения.

Да уж, паразитный трафик будет только рости и рости.