Скрипт для мини поискового робота

Пишите в личку помогу.

Курл в помощь

как только появится доступ в личку напишу )

курл это что ?

гугл что ли ? )

если да, то естественно искал сначала там, но не нашел.

Сами хотите сделать?

Если

То всё, что вам ещё нужно, есть здесь: http://ru.php.net/manual/ru/function.fsockopen.php

В

$out = "GET / HTTP/1.1\r\n";

Ставите просто слеш для главной страницы, и путь к странице, для всех остальных. Например:

$out = "GET /links.html/ HTTP/1.1\r\n";

Имхо, если объем «работ» у робота будет не огромным – можно обойтись и без курла и без sockets.

Реализовать при помощи $content=file_get_contents(“fullpath”).

После прегматчить нужные ссылки, например так:

preg_match_all("/<a (.*)href=(.*)>(.*)<\/a>/iU",$content,$found);

$hrs=$found[2];

А далее… если роботу гулять только внутри сайта – нужно отсеять внешние ссылки, отсеять ссылки mailto.

После попробовать составить полные урлы найденных по ссылкам страниц (не всегда указывается полный путь, иногда нужно добавить к ним и домен, например). Еще нужно отсеять # такие ссылки (как минимум).

Сделать функцию рекурсивной и вызывать себе наздоровьешко, собирая попутно те данные, для которых эта вещь пишется.

Можно пойти и сокетами.

$fp = fsockopen($host,$port,$errno,$errstring,$time_out);

set_socket_blocking($fp,0);

Отправить запрос ну и…

while (!feof($fp) && time()<$timeout)

И собирать данные. И аналогично анализировать дальше.

Удачи в разработке. :)

А может робота лучше на PERL делать?

Можно и на perl, но самый лучший вариант - взять поисковик с открытым кодом и обработать напильником.

Кому нужна хорошая и проверенная в работе PHP-функция для получения объектов из URL (header+content+title+meta tags) + правильная работа с редиректами + любой USER-AGENT (передается как параметр функции) - стучитесь в личку.

Дайте бесплатно ;)

Так я и не собирался деньги брать :)

Сейчас кину в личку 🚬