PHP Site Analyzer - ищем жирные паги у блогов + nofollow checker

PHP Site Analyzer - скрипт для получения проиндексированных гуглом страниц с сайта и выдача их в порядке убывания PR т.е. получаем полную карту сайта.

Пишу только на php поэтому и скрипт на нем =)

В скрипте можно настроить глубину поиска, а так же отображение сайтов только с определенным PR.

По умолчанию скрипт пишет в files/pr-(1-10).txt ссылки с соотвествующим PR

В общем тестируем и пишем о багах и не только :)

Установка

- Заливаем на хост

- Ставим на папку files chmod 777

- В файл urls.txt кидаем линки

Как работает скрипт

1) Берет сайт

2) Выдирает из гугла опр количество ссылок по запросу site:url.com

3) Получает ПР для всех этих ссылок

4) Сортирует, выводит и пишет в файлики

5) Берет следующий сайт...

Скачать (прямая ссылка)

Скачать (rapidshare)

####

####

Совсем простенький скрипт для проверки списка сайта на наличие nofollow как атрибута у ссылок.

Создаем файл urls.txt туда кидаем линки, в эту же директорию помещаем скрипт и ставим на неё chmod 777

Запускаем, по окончанию появится два файла

nofollow.txt

withoutnofollow.txt

В случае чего результат не может быть определен правельно

Возьмем для примера вордпресс, в коментах обычно ссылки помечаются nofollow, но если, например, не будет коментов, то и не будет атрибута... хз как решить =)

Сам скрипт:

<?PHP

set_time_limit(3600*24*7); 

$arr = file("urls.txt"); 

foreach($arr as $siteurl){ 

      $host= parse_url($siteurl); 

      $fp=fsockopen($host['host'], 80, $errno, $errstr, 3);  

      if ($fp){  

         $out  = "GET $siteurl HTTP/1.1\r\n";  

         $out .= "Host: $host[host]\r\n";                           

         $out .= "Connection: Close\r\n\r\n";                  

      fputs($fp, $out); 

      while (!feof($fp)){  

        $Page.= fgets($fp, 1024);  

      } 

      fclose($fp); 

      }  

    if($siteurl != '' and eregi("nofollow", $Page)){    

          echo "C $siteurl <br />";     

          $rew = fopen("nofollow.txt", "a"); 

          fputs($rew, trim($siteurl)."\n"); 

          fclose($rew); 

    }else{ 

          echo "Без $siteurl <br />"; 

          $rew = fopen("withoutnofollow.txt", "a"); 

          fputs($rew, trim($siteurl)."\n"); 

          fclose($rew); 

    } 

    flush(); 

    $Page = '';  

} 

?>