поисковый паук - есть ли примеры ?

Здесь есть: http://search.delics.ru/add.php

Явно самопальный....

Их же полно с открытым кодом, самый модный вроде nutch сейчас.

Я простого в 10 строк писал, ну, чтобы по ссылкам лазил, чтобы "не палить тему", кратко по функциям скажу как было (парсилка урлов):

создаю пустой массив ссылок, первое значение - стартовый адрес:

$massivssilok=array('http://start.url');

далее

while($url=each($massivssilok))

{

$page=load($url); // загрузка страницы, я обходился стандартным file_get_contents

preg_match_all('#url#',$page,$matches);

foreach($matches[1] as $v)

{

if(!in_array($v,$massivssilok)) array_push($massivssilok,$v);

}

}

Вот такая вот суть, плюс проверка на "нажность" ссылок, загрузка текста и т.п.,

для примитивной парсилки сойдет, если нужно помощнее, нужно учесть что скрипт будет вешать систему, я делал проверку времени выполнения: если больше нужного - break, в следующий раз массив заполнить набранными за предыдущие циклы адресами.

сорри, дубль пробрался

этот http://lucene.apache.org/nutch/ ?

нужен многопоточный быстрый кравлер ... чтоб он всё ложил в мускульную таблицу - а наш идексатор уже подхватывает эту таблицы и индексирует ...

Вот так, правда в один поток, но и он неплохо систему подвесит :)

if(!in_array($v,$massivssilok)) {array_push($massivssilok,$v);polozhitvtablitsu($page);}

Zlo_606ep, угу походу такие пауки скликивают рекламу бегуна :)

а чего ему систему вешать то ?

Простая системка, и простой бесконечный цикл while, пока весь интернет не съест : )

вешает систему наверное потому как ваш скрипт память сжирает быстро из за массивов ...