Извлечь из sitemap.xml все ссылки списком

Content Downloader это делает точно.

shell есть?

grep и awk легко сделают.

Любой правильный блокнот с поддержкой регулярок.

Только причем тут

?

Наверное, ТС хочет запулить эти ссылки в какую-то программу.

Мб. Но зачем эта инфа в "ТЗ" (неполная\непонятная)? :)

Спасибо!

Сегодня был ап PR и хотелось бы все страницы сайта проверить на + -

Вот скрипт допилить руками вывод под себя

<?php



$filename=$_SERVER['DOCUMENT_ROOT'].'/sitemap.xml';



// читаем файл



$html=@file_get_contents($filename);



if(strlen($html)<300)die('Нет файла карты сайта '.$filename);



$dom = new DOMDocument('1.0', 'UTF-8');  



@$dom->loadXML($html);



if(!$dom)die('Файл карты сайта '.$filename.' испорчен, - сформируйте карту сайта!');



$root=$dom->documentElement;



$nodelist=$root->childNodes;    //список узлов 1-го уровня



foreach ($nodelist as $child) {



    if ($child->nodeType==XML_ELEMENT_NODE){



        $loc=$lastmod=false;



    foreach ($child->childNodes as $child2)



        if ($child2->nodeType==XML_ELEMENT_NODE){



            if ($child2->nodeName=='loc')$loc=$child2->nodeValue;



            elseif ($child2->nodeName=='lastmod')$lastmod=$child2;



        }



    if(!$loc || !$lastmod)continue;



    echo 'Страница <b>'.$loc.'</b> прошлое изменение '.$lastmod->nodeValue."<br>\n";



    //$root->removeChild($child); // удалить страницу из sitemap



    }    



}



?>

---------- Добавлено 06.12.2013 в 20:55 ----------

http://pochesnomu.ru/pr/ можете сразу проверить пыр внутряков

$lines = file('sitemap.xml');

$allMatches = array();

 

foreach ( $lines as $line_number => $line ) {

 $line = trim($line);

 preg_match_all('/(?<=\<loc\>)(.*?)(?=\<\/loc\>)/U', $line, $matches,PREG_SET_ORDER);

 if($matches){

  if ( $matches[0][0] != '' ) {

   $allMatches[] = $matches[0][0];

  };

 };

};

 

$list = '';

foreach ( $allMatches as $url ) {

 $list .= $url."\n";

};

$fh = fopen('urllist.txt', "w+");

fwrite($fh, $list);

fclose($fh);

 

// print out list to provide some feedback...

echo $list;

Тоже работает

Немного проще вариант :)

$myxml = file_get_contents("sitemap.xml");

preg_match_all("#<loc>(.+?)</loc>#i", $myxml, $match);

$allurl = implode("\r\n", $match[1]);

$fh = fopen("allurl.txt", "w+");
fwrite($fh, $allurl);
fclose($fh);

echo $allurl."<h2>Готово</h2>";

Что-то не впечатляет PHP в этой задаче.

Вот на sh:

cat sitemap.xml | grep http: | awk -F \<loc\> '{print $2}' | awk -F \</loc\> '{print $1}' | sort -u