Проект: кооперативный спайдер.

Что делают интернет-спайдеры? Обходят по очереди (по ссылкам, например) страницы интернта, скачивают их и производят КАКУЮ-ТО их индексацию.

Какую именно индексацию - это определяется владельцем (заказчиком работы) спайдера.

При этом спайдеры разных владельцев (в основном это - SE, Search Engines) работают независимо, то есть - в аспекте скачивания контента страниц - они друг друга дублируют.

Понят, что работа по скачиванию сколько-нибудь заметной доли WWW - достаточно дорогостоящая, и она не по силам рядовому ... скажем так, - исследователю интернета.

Отсюда идея: почему бы не создать "кооперативный спайдер", то есть такой, который будет, скачивая страницы, индексировать их ПО ВСЕМ РАЗЛИЧНЫМ алгоритмам, предоставленным участниками проекта, и раздавать каждому участнику его (заказанные им) результаты индексации?

Может быть где-то такие кооперативные спайдеры уже существуют или разрабатываются?