Анонс TC2 - Серверный анализатор сайтов в поисковых системах

Оказалось что гугля забанил ИП,но потом когда бан снялся - картина таже ,индексированных показывает 0 ,а при переходе по этой ссылке - показывает несколько проиндексенных страниц.И верно ли я понял ,что ставить прокси в браузер бессмысленно ,т.к. скрипт напрямую обращается к поисковикам ?Т.е. посмотреть выдачу с другого ИП невозможно ?

Ну а как ? На дедике Плеск 8,2 ,создаю базу,пользователя ,захожу в phpMyAdmin/ импортирую ...

всё ок проходит ,ну а дальше никак ... 😕

У меня тоже некоторые сайты показывает в индексе гугла а некоторые показывает нормально... И можно какое то пояснение к Апдейты поисковых систем. Что есть что...

one добавил 27.03.2008 в 18:50

Да и whois ошибку выдает непонятную - Error Whois

Функция определения PR зависит от корректности определения checksum для сайта, которая в свою очередь, по-разному работает на 32-х и 64-х битных процессорах. Неплохо бы сделать в скрипте определение разрядности процессора и в зависимости от нее подставлять функцию checksum.

Вот, нашел у себя код определения PR для 64-х битных машин

define('GOOGLE_MAGIC', 0x00000000E6359A60); // CHANGED (64Bit)



//unsigned shift right 

function zeroFill($a, $b) 

{   

        $z = 0x0000000080000000;  // CHANGED (64Bit)

        $a = $a & 0x00000000FFFFFFFF;  // ADDED (64Bit)

        

        if ($z & $a) 

        {     

            $a = ($a>>1); 

            $a &= (~$z); 

            $a |= 0x0000000040000000;  // CHANGED (64Bit)

            $a = ($a>>($b-1)); 

        } 

        else 

        {     $a = ($a>>$b);    

        } 

        return $a; 

} 

  

  

function mix($a,$b,$c) { 

    

  $a = $a & 0x00000000FFFFFFFF;  // ADDED (64Bit)

  $b = $b & 0x00000000FFFFFFFF;  // ADDED (64Bit)

  $c = $c & 0x00000000FFFFFFFF;  // ADDED (64Bit)

  

  $a -= $b; $a -= $c; $a ^= (zeroFill($c,13)); 

  $b -= $c; $b -= $a; $b ^= ($a<<8); 

  $c -= $a; $c -= $b; $c ^= (zeroFill($b,13)); 

  $a -= $b; $a -= $c; $a ^= (zeroFill($c,12)); 

  $b -= $c; $b -= $a; $b ^= ($a<<16); 

  $c -= $a; $c -= $b; $c ^= (zeroFill($b,5)); 

  $a -= $b; $a -= $c; $a ^= (zeroFill($c,3));   

  $b -= $c; $b -= $a; $b ^= ($a<<10); 

  $c -= $a; $c -= $b; $c ^= (zeroFill($b,15)); 



  return array($a,$b,$c); 

} 

 

 

function GoogleCH($url, $length=null, $init=GOOGLE_MAGIC) { 

    if(is_null($length)) { 

        $length = sizeof($url); 

    } 

    $a = $b = 0x000000009E3779B9;  // CHANGED (64Bit)

    

    $c = $init ; 

    $k = 0; 

    $len = $length; 

    while($len >= 12) { 

        $a += ($url[$k+0] +($url[$k+1]<<8) +($url[$k+2]<<16) +($url[$k+3]<<24)); 

        $b += ($url[$k+4] +($url[$k+5]<<8) +($url[$k+6]<<16) +($url[$k+7]<<24)); 

        $c += ($url[$k+8] +($url[$k+9]<<8) +($url[$k+10]<<16)+($url[$k+11]<<24)); 

        $mix = mix($a,$b,$c); 

        $a = $mix[0]; $b = $mix[1]; $c = $mix[2]; 

        $k += 12; 

        $len -= 12; 

    } 



    $c += $length; 

    switch($len)              /* all the case statements fall through */ 

    { 

        case 11: $c+=($url[$k+10]<<24); 

        case 10: $c+=($url[$k+9]<<16); 

        case 9 : $c+=($url[$k+8]<<8); 

          /* the first byte of c is reserved for the length */ 

        case 8 : $b+=($url[$k+7]<<24); 

        case 7 : $b+=($url[$k+6]<<16); 

        case 6 : $b+=($url[$k+5]<<8); 

        case 5 : $b+=($url[$k+4]); 

        case 4 : $a+=($url[$k+3]<<24); 

        case 3 : $a+=($url[$k+2]<<16); 

        case 2 : $a+=($url[$k+1]<<8); 

        case 1 : $a+=($url[$k+0]); 

         /* case 0: nothing left to add */ 

    } 

    $mix = mix($a,$b,$c); 

    /*-------------------------------------------- report the result */ 

    return $mix[2]; 

} 



//converts a string into an array of integers containing the numeric value of the char 

function strord($string) { 

    for($i=0;$i<strlen($string);$i++) { 

        $result[$i] = ord($string{$i}); 

    } 

    return $result; 

} 



// converts an array of 32 bit integers into an array with 8 bit values. Equivalent to (BYTE *)arr32 

function c32to8bit($arr32) { 

    for($i=0;$i<count($arr32);$i++) { 

        for ($bitOrder=$i*4;$bitOrder<=$i*4+3;$bitOrder++) { 

            $arr8[$bitOrder]=$arr32[$i]&255; 

            $arr32[$i]=zeroFill($arr32[$i], 8); 

        }     

    } 

    return $arr8; 

} 





function GoogleCHNew($ch){

    $ch=sprintf("%u", $ch); 

    $ch = ((($ch/7) << 2) | (((int)fmod($ch,13))&7)); 

    $prbuf = array(); 

    $prbuf[0] = $ch; 

    for($i = 1; $i < 20; $i++) { 

      $prbuf[$i] = $prbuf[$i-1]-9; 

    } 

    $ch = GoogleCH(c32to8bit($prbuf), 80); 

    return sprintf("%u", $ch);

}





function get_page_rank($url){

    $url = preg_replace('/\?.*$/','?',$url);

    $reqgr = "info:".$url;

    $reqgre = "info:".urlencode($url);

    $gch = GoogleCH(strord($reqgr));

    

    $gch = "6".GoogleCHNew($gch);

    



  

    $patern = '/^http:/';

    $patern2 = '/^http:\/\/.*google\..*\/(search|images|groups|news).*/';

    $patern3 = '/^http:\/\/localhost.*/';

    $patern4 = '/^http:\/\/(127\.|10\.|172\.16|192\.168).*/'; //local ip

    if(!preg_match($patern, $url) || preg_match($patern2, $url) ||

       preg_match($patern3, $url) || preg_match($patern4, $url)){

           return -1;

    }else{

        // BEGIN CHANGES (fsockopen to request PR) 

        

        $fsock = fsockopen('toolbarqueries.google.com', 80, $errno, $errstr);

        if ( !$fsock ){  

            return -1;

        }

        $base_get = "/search?client=navclient-auto&ch=".$gch."&ie=UTF-8&oe=UTF-8&features=Rank:FVN&q=".$reqgre;

        fputs($fsock, "GET $base_get HTTP/1.1\r\n");

        fputs($fsock, "HOST: toolbarqueries.google.com\r\n");

        fputs($fsock, "User-Agent: Mozilla/4.0 (compatible; GoogleToolbar 2.0.114-big; Windows XP 5.1)\r\n");

        fputs($fsock, "Connection: close\r\n\r\n");

        while(!feof($fsock)){ 

            $res['content'] .= fread($fsock, 1024);

        }

        fclose($fsock);



        // END CHANGES (fsockopen to request PR)

    

        if(preg_match('/Rank_.*?:.*?:(\d+)/i', $res['content'], $m)){    

            return $m[1];

        }else{    

            return -1;

        }      

    }

}

ещё один неприятный баг выявился : выдаёт к-во страниц проиндексенных в яхе ,а на самом деле их нет ! При попытке перейти по ссылке выдаёт : <?xml version="1.0" encoding="UTF-8" ?>

<ResultSet xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="urn:yahoo:srch" xsi:schemaLocation="urn:yahoo:srch http://api.search.yahoo.com/SiteExplorerService/V1/PageDataResponse.xsd" totalResultsAvailable="0" firstResultPosition="1" totalResultsReturned="0" />

- <!-- se6.search.re4.yahoo.com uncompressed/chunked Tue Apr 1 01:12:39 PDT 2008

-->

- <!-- ws07.search.re2.yahoo.com uncompressed/chunked Tue Apr 1 01:12:39 PDT 2008

-->

--------------------

Жаль ,задумка скрипта просто великолепна и программа нужная .Кстати ,мож кто подскажет есть ли аналоги ? Мне лишь надо получить список количества проиндексенных страниц в гугле ,яхе и МСНе для списка доменов.

Количество проиндексированных страниц определяется по ссылке http://search.yahoo.com/search?p=p1n.ru , т.к. по <?xml version="1.... сервер часто возвращает 403 или 404 ошибки...

Немножко не понял ,у Вас в полученных результатах - в отчёте такой линк http://api.search.yahoo.com/SiteExplorerService/V1/pageData?appid=YahooDemo&results=1&query=http://ххххх.com

я его жму и получаю ошибку ... .Если что не так ,то ИМХО надо следующую версию скрипта ... .

Ситуацию я описал выше. Если столь важно, то линк в таблице поправлю к следующей версии..

Ну важно ( вернее неприятно) то что в некоторых случаях скрипт в гугле НЕ показывает проиндексенные страницы,а в некоторых случаях в яхе ,наоборот,выдаёт к-во страниц проиндексенных ,а на самом деле их нет ... .

Кстати,Вы отлично в PHP разбираетесь ,у меня тут скриптик старый завалялся ,маленький,которыей токо и выдает пакетом ,количество бэков и проиндексенных страниц в трёх буржуйских поисковиках.Но ,выдача поменялась в яхе и МСНе и он не пашет .Автор забил на него и токо прислал инструкцию как поправиьть .Но у меня не Вышло .Не поможете случаем ? Там всего то 4 строчки поправить ...

Надо смотреть примеры сайтов, где не определяет...может там выдача отличается? Или может сервер видет немного другую информацию, чем вы?

Насчет вашего скрипта.. поправить могу, но не бесплатно...

Могёт прислать в приват пример сайта ? ( токо на этом форуме приват странный ,Вам можно

по аське через форум ,но ИМХО не пашет ,2 недели назад посылал Вам сообщение ... имхо не дошло )

Дык всего 4 строчки ,даже я разобрался чего куда втыкать ... но не конца :) .Да и Вам интересно будет ,работало как часы ...

Да и ещё ,придумайте что-то ибо после всего навсего пары сотен проверок ,гугля забанил так что второй день приходится капчу вбивать 😆