Sape любит ПС Яндекс ;)

С недавнего времени заметил что не принимают сайты, у которых не все страницы проиндексированы в Яндексе.

У меня есть несколько каталогов, у которых страниц больше 10000, Яндекс же видит всего 2-3 тысячи страниц сайтов, долго ломал себе голову и придумал написать код, который не даст sape вносить в базу страницы, которых нет в Яндекс, вроде помогло, поэтому хочу поделиться со всеми:

Код только на PHP, так как другими не владею:

<?

$url = $HTTP_SERVER_VARS["HTTP_HOST"].$HTTP_SERVER_VARS["REQUEST_URI"];

$e = explode("/",$url);

if(!$e[1]) $url = str_replace("/","",$url); //убираем слэш в конце главной страницы

$url_www = rawurlencode("www.".$url);

$url = rawurlencode($url);

$ya = "http://www.yandex.ru/yandsearch?rpt=rad&text=url%3D%22".$url_www."%22+%7C+url%3D%22".$url."%22";

$file=@file_get_contents($ya);

if(preg_match("!Результат поиска: страниц&nbsp;&mdash; <b>(.*?)</b>!si",$file,$ok)) $is = $ok[1];

if($is)

{

// ЗДЕСЬ ДОЛЖЕН БЫТЬ КОД САПЕ

}

?>

после того как Sape закончит индексацию, можно удалить этот код и заменить только кодом системы Sape.