Кстати, можно прикинуть коэффициенты. Есть сайт с 40 ссылками и тИЦ 250. Ссылки, правда, тематические в основном. Получается, коэффициент для тематических сайтов может быть больше 5...
Это если не учитывается ВИЦ страницы при расчете тИЦ :)
use LWP::UserAgent;
use HTTP::Request;
use URI::URL;
use HTTP::Headers;
$ua = new LWP::UserAgent;
$ua->agent('Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
$ua->max_size(100000);
$ua->timeout(50);
sub getdomain
{
my $paga=$_[0];
$paga=~s#^http://##ig; if ($paga=~m#^(.*?)[?:/]#i) {$paga=$1};
return "http://".$paga;
}
sub full
{
my $parent=$_[0];
my $child=$_[1];
my $proto;
my $domains;
my $dir;
my $file;
if ($child=~m#\.(xls|doc|rtf|txt|gif|jpg|jpeg|mpg|mpeg|mp3|tiff|avi|wov|exe|zip|rar|gz|tar|bz2|bz|tgz|lha|lzh|arj|mov|wav|au|qt|mpe|midi|ra|ram|rm)#i) {return ''};
if ($child=~m#http://#i) {return $child};
if ($child=~m#^/#i)
{
if ($parent=~s|(https?://)?(([0-9a-zA-Z_-]+\.)+[0-9a-zA-Z_-]{2,3})((/[0-9a-zA-Z_-]+?)*?)/?([^/]*?[?#.][^/]*)?$|$proto=$1; $domain=$2; $dirs=$4; $file=$6|ige )
{
if ($proto eq '') {$proto='http://';};
$child=~s/#.*$//;
return $proto.$domain.$child;
};
}
else {
$child=~s#\.\./#/#ig;
if ($parent=~s|(https?://)?(([0-9a-zA-Z_-]+\.)+[0-9a-zA-Z_-]{2,3})((/[0-9a-zA-Z_-]+?)*?)/?([^/]*?[?#.][^/]*)?$|$proto=$1; $domain=$2; $dirs=$4; $file=$6|ige )
{
while ($child=~m#^/#)
{ if ($dirs=~m#/[0-9a-zA-Z_-]+$#)
{
$child=~s#^/##;
$dirs=~s#/[0-9a-zA-Z_-]+$##;
}
else {
print "incorrect link out of dirs\n";
$child=~s#^/##;
};
};
}
else {print "can't understand parent url..\n";};
$child="/".$child;
$child=~s#^//#/#;
if ($proto eq '') {$proto='http://';};
$child=~s/#.*$//;
return $proto.$domain.$dirs.$child;
};
}
sub get
{
my $urlo=$_[0];
$hdrs = new HTTP::Headers(Accept => 'text/html',ACCEPT_LANGUAGE => 'ru');
$url = new URI::URL($urlo);
$req = new HTTP::Request(GET, $url, $hdrs);
$req->referer($current);
sleep($delay);
$resp = $ua->request($req);
#######
if ($needed=~m#y#)
{
$current='http://www.yandex.ru/';
$num='000';
$p=0;
$navrow.="<td><font size=\"-1\"><a href=\"$current\" target=\"_blank\">$current</a></font></td>";
$page='http://www.yandex.ru/yandsearch?text='.urlencode($word);
$result=get($page);
while(!($result=~s#<li value=(\d+)>\s*<p>\s*<A onClick="r.this,'web'." href="http://([a-zA-Z0-9-]+\.)*$site#$num=$1#igse)&&($p<$maxpages))
{
$p++;
print "\n $p-th page...";
$result=~s#<A href="(\/yandpage\?[^"]*)" target=_self>Дальше .>.>.</a>#$page=full($page,$1);#ei;
$result=get($page);
};
print "\n\nYour site is number ".$num." in Yandex by the '".$word." query.";
print "\nProgress: ".int(100*$i/(@words+0))."%\n\n";
$currow.="<td><a href=\"$page\" target=\"_blank\">$num</a></td>";
};
#######
if ($needed=~m#r#)
{
$current='http://www.rambler.ru/';
$num='000';
$p=0;
$navrow.="<td><font size=\"-1\"><a href=\"$current\" target=\"_blank\">$current</a></font></td>";
$page='http://search.rambler.ru/cgi-bin/rambler_search?words='.urlencode($word).'&where=1';
$result=get($page);
while(!($result=~s#<A href="/click\?i=[^&]*&.p=(\d+)&.d=\d+&._URL=http://([a-zA-Z0-9-]+\.)*$site#$num=$1+1;#igse)&&($p<$maxpages))
{
$p++;
print "\n $p-th page...";
$result=~s#<B>\d+</B>\s* . <A href="(/cgi-bin/rambler_search?words=[^"]*)">\d+</A>#$page=full($page,$1);#ei;
$result=get($page);
};
print "\n\nYour site is number ".$num." in Rambler by the '".$word." query.";
$currow.="<td><a href=\"$page\" target=\"_blank\">$num</a></td>";
};
#######
if ($needed=~m#a#)
{
$current='http://www.aport.ru/';
$num='000';
$p=0;
$navrow.="<td><font size=\"-1\"><a href=\"$current\" target=\"_blank\">$current</a></font></td>";
$page='http://sm.aport.ru/scripts/template.dll?r='.urlencode($word);
$result=get($page);
while(!($result=~s#<br><FONT class=sm>(\d+)</FONT></DIV><TD vAlign=top width=97.><DIV style=margin-top.2pt><a class=tb href=http://([a-zA-Z0-9-]+\.)*$site#$num=$1;#igse)&&($p<$maxpages))
{
$p++;
print "\n $p-th page...";
$result=~s#<td align=center><font>\d+</font></td><td align=center><font class=sm><A HREF=(/scripts/template.dll\?r=[^>]*)>\d+</a></font></td>#$page=full($page,$1);#ei;
$result=get($page);
};
print "\n\nYour site is number ".$num." in Aport by the '".$word." query.";
print "\nProgress: ".int(100*$i/(@words+0))."%\n\n";
$currow.="<td><a href=\"$page\" target=\"_blank\">$num</a></td>";
};
#######
if ($needed=~m#g#)
{
$current='http://www.google.com/';
$num='000';
$p=0;
$navrow.="<td><font size=\"-1\"><a href=\"$current\" target=\"_blank\">$current</a></font></td>";
$page='http://www.google.com/search?num=10&hl=ru&newwindow=1&q='.urlencode($word).'&lr=';
$result=get($page);
while(!($result=~s#<p class=g><a href=http://([a-zA-Z0-9-]+\.)*$site#$num=10*$p; $hlp='KTUDVUNRE';#igse)&&($p<$maxpages))
{
$p++;
print "\n $p-th page...";
$result=~s#<td nowrap><a href=(/search\?q=[^>]*)><img src=/intl/ru/nav_next.gif width=100 height=26 alt="" border=0><br><span class=b><b>Следующая</b></span></a>#$page=full($page,$1);#ei;
$result=get($page);
};
if ($num ne '000')
{
$result=~s#KTUDVUNRE.+$##s;
$result=~s#<p class=g>#$num++;#igse;
$num++;
};
print "\n\nYour site is number ".$num." in Google by the '".$word." query.";
print "\nProgress: ".int(100*$i/(@words+0))."%\n\n";
$currow.="<td><a href=\"$page\" target=\"_blank\">$num</a></td>";
};
###
$curout.="<tr>$currow</tr>\n";
};
$curout=~s#000#нету#g;
$n=$site;
$n=~s#\.#_#g;
$n.='.html';
open(F,">$n");
print F "<html><body><h3>$site</h3><table border=1 cellspacing=0 cellpadding=5><tr><td>Запрос|SE</td>$navrow</tr>\n$curout</table><p>Сайт на первых $maxpages страницах выдачи может быть не найден</body></html>";
close F;
print "\a";
не-а. Чуть было на парапланах не полетали с одним из форумовцев, но не склалось...
Вообще, майские еще не совсем закончились и речек есть много в районе Бологого - он вроде как на нейтральной территории... :)
Кстати, можно прикинуть коэффициенты. Есть сайт с 40 ссылками и тИЦ 250. Ссылки, правда, тематические в основном. Получается, коэффициент для тематических сайтов может быть больше 5...
Это если не учитывается ВИЦ страницы при расчете тИЦ :)
и class
MaxB, кстати, если заголовки в разном дизайнерском исполнении но хочешь сделать одинаковыми по тексту h1, можно использовать css. :) Как ни странно.
В данном случае один тег имеет разные стили в разных "обкладках" из других тегов.
Вы наверное, зашли на www.yandex.ru/norobot/ какими-нибудь роботами? На эту директорию есть скрытая ссылка на страницах Яндекса.
А, это да.
Да нет, это привычка после многочисленных вставок из массивов типа ".$a[$i]."
А что такое конкатенация? :(
Вот новый вариант. Не обессудьте, функции писались довольно давно, поэтому очень не оптимальны.:) Значит, ставится перл и запускается.
Kopiy, так с "чемоданом" ты уже не работаешь? Почему? Или речь не о нем?
У меня тоже пропадают иконки, не только сейчас, а вообще. Не знаю.
1. сделать иконку размером 32на32 в gif, преобразовать ее в формат ico каким-нибудь софтом, например, bmp2ico.
2. Положить ее в корень сайта.
Ее материалы-
http://optimization.ru/reports.shtml