Чем вытянуть структуру (адреса урлов и титлов) сайта?

AL
На сайте с 18.11.2005
Offline
93
1001

Хотелось бы получить структуру сайта в виде урлов страниц. В результате, например, текстовый файл вида:

http://домен/*|-.-|*Титл главной

http://домен/1.php*|-.-|*Титл первой страницы

http://домен/stranica.php*|-.-|*Титл страницы

http://домен/33.php*|-.-|*Титл тридцать третьей страницы

...

(*|-.-|* - условный разделитель между урлом и титлом :) )

Частично задачу выполняют Сайп, Yazzle или Телепорт (софтины)... Но, по сути изврат (далеко не основная задача)

Возможно есть готовые решения для решения описанной выше задачи или же кто свой скрипт писал, подскажите.

Спасибо, обещаю :)

Alex Life Mix - путешествия (http://alexlifemix.com/) - покупаю сайты (/ru/forum/320954)
[Удален]
#1

семонитор

10 семониторов

AL
На сайте с 18.11.2005
Offline
93
#2

burunduk в личке указал на модули "HTML анализатор" и "Сайт анализатор".

Семонитор есть, но в версии Pro (http://www.semonitor.ru/price.html ), в которой нет необходимых модулей.

Как вариант, конечно, купить необходимую версию.

Но, все же, возможно есть еще варианты? ;)

[Удален]
#3

Alex LM, в личке

AL
На сайте с 18.11.2005
Offline
93
#4

Вопрос по прежнему актуален... :)

SS
На сайте с 14.04.2006
Offline
110
#5

У вас есть текстовый файл со списком URL'ов сайта? Если есть могу помочь.

AL
На сайте с 18.11.2005
Offline
93
#6
SEO.Slash:
У вас есть текстовый файл со списком URL'ов сайта?

Да, есть...

V
На сайте с 24.04.2007
Offline
72
#7

попробуйте Xenu's Link Sleuth

K
На сайте с 31.05.2007
Offline
31
#8
Alex LM:
Да, есть...

Если да, можно таким простым скриптом:


<?
function OpenURL($url)
{
$ch = curl_init();


curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);

$get_row_urlink = curl_exec($ch);
curl_close($ch);
return $get_row_urlink;
}
function Parse($string,$cond1,$cond2,$maxSearches=0,$isI=false)
{
$result= Array();
if ($string=="") return Array("");
$start=0;
$offset=0;
$res="";
$i=0;
$string1=$string;
if ($isI===true)
{
$string1=strtolower($string);
$cond1=strtolower($cond1);
$cond2=strtolower($cond2);
}
while ($start!==false)
{ $i++;
if ($maxSearches!=0 && $i>$maxSearches) break;
if ($offset+1>strlen($string1)) {break;}
$start=strpos($string1,$cond1,$offset+1);
if ($start===false) {break;}
$offset=$start;
$end=strpos($string1,$cond2,$start+1);
if ($end===false) {break;}
$res=substr($string,$start+strlen($cond1),$end-$start-strlen($cond1));
$result[]=$res;
}
if (count($result)==0) $result[]="";
return $result;
}

$lines = file('names.txt');
$string='*|-.-|*';

foreach ($lines as $vl)
{
$page=OpenURL($vl);
$page=Parse($page,'<title>','</title>',1,true);
echo $vl,$string,$page[0],'<br>';
}
?>

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий