Образец парсера на php

Я хоть и не специалист, но кое-чего могу...

<?

set_time_limit(0);



$url= 'http://xuk.ru/story/page/1.html';



$curl = curl_init();

curl_setopt($curl, CURLOPT_URL,$url);

curl_setopt ($curl,CURLOPT_RETURNTRANSFER,1);

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

curl_setopt ($curl, CURLOPT_REFERER, 'http://xuk.ru');

$content = curl_exec($curl); 

curl_close($curl);



$pattern = '/<a href="(http:\/\/xuk.ru\/story\/.*.html)">\s+?<b>Читать далее...<\/b><\/a>/';

preg_match_all($pattern,$content,$urls);







foreach ($urls[1] as $url)

{

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL,$url);



curl_setopt ($curl,CURLOPT_RETURNTRANSFER,1);

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

curl_setopt ($curl, CURLOPT_REFERER, 'http://xuk.ru');

$content = curl_exec($curl); 

curl_close($curl);



$pattern = '/<p><span style="FONT-SIZE: 10pt;">(.*)<\/span>/isU';

preg_match($pattern,$content,$text);



$text = str_replace('<br />',"\r\n",$text[1]);



$f = fopen("text.txt", "a+"); 

fwrite($f, $text); 

fclose($f);

}



echo 'Готово! Можете загружать следующую ссылку:)';

?>

"Парсер сайтов" очень ёмкое понятие, уважаемый Apollon1. Например, вот такой фрагмент кода уже является этим самым парсером:

// Список адресов сайтов.

$Sites = array('http://site1.ru', 'http://site2.ru', 'http://site3.ru');

$Titles = array();

// Перебираем каждый из адресов.

foreach ($Sites as $Site) {

  // Получаем выдачу с хоста.

  $Content = file_get_contents($Site);

  // Регуляркой получаем всё, что находится между <title> и </title>.

  preg_match('|<title>(.+)</title>|', $Content, $Result);

  // Сохраняем полученный результат.

  $Titles[$Site] = $Result[1];

}

BlackEvil, спасибо! Завтра потестим! :)

Apollon1 добавил 30.07.2009 в 02:21

wdsg, под парсером понимаю программу, которая будет копировать контент с сайта и обрабатывать его от лишнего.

http://seovirus.ru/parsing-legko-i-dostupno-master-klass-ot-seovirusa.html

http://blog.gtalex.ru/ochen-prostoj-php-parser

http://webteach.ru/informatika/web-programmirovanie/php/pishem-parser-rss-fidov-blogov-iz-vydachi-google/

проще некуда, думаю.