Einstein02

Einstein02
Рейтинг
164
Регистрация
10.06.2009
Интересы
Seo, philosophy

3$..............

Почему не получается произвести проверку множества сайтов (>1k)? Неужели аякс такой весомый? Кроме того тратится масса оперативной памяти.

Ёхан Палыч:
Ну тогда и не надо)

Теперь когда ввожу большое количество сайтов - многие отображаются как N/A. В чём проблема?

Ёхан Палыч:
В curl желательно добавить список прокси и юзерагентов.

Каким образом? Сорри в php не силён...:)

Ёхан Палыч:
Это не ко мне, а к Яндексу. Хотя, я в сутки 3-4млн запросов делаю и ничего.
Может ограничения при file_get_contents, у вас в download.php надеюсь curl?

Вот этот файл:

<?php


function get_download($url){

$ret = false;

if( function_exists('curl_init') ){
if( $curl = curl_init() ){

if( !curl_setopt($curl,CURLOPT_URL,$url) ) return $ret;
if( !curl_setopt($curl,CURLOPT_RETURNTRANSFER,true) ) return $ret;
if( !curl_setopt($curl,CURLOPT_CONNECTTIMEOUT,30) ) return $ret;
if( !curl_setopt($curl,CURLOPT_HEADER,false) ) return $ret;
if( !curl_setopt($curl,CURLOPT_ENCODING,"gzip,deflate") ) return $ret;

$ret = curl_exec($curl);

curl_close($curl);
}
}
else{
$u = parse_url($url);

if( $fp = @fsockopen($u['host'],!empty($u['port']) ? $u['port'] : 80 ) ){

$headers = 'GET '. $u['path'] . '?' . $u['query'] .' HTTP/1.0'. "\r\n";
$headers .= 'Host: '. $u['host'] ."\r\n";
$headers .= 'Connection: Close' . "\r\n\r\n";

fwrite($fp, $headers);
$ret = '';

while( !feof($fp) ){
$ret .= fgets($fp,1024);
}

$ret = substr($ret,strpos($ret,"\r\n\r\n") + 4);

fclose($fp);
}
}

return $ret;
}


?>
Ёхан Палыч:
http://bar-navig.yandex.ru/u?ver=2&show=32&url=

Верно. Всё исправил! Спасибо! Но увы теперь такая проблема: парситься может только около 50 сайтов, при вводе большого количества - проверка не выполняется...

4$.........

Daniter:
Ух, стоило побороться. Доход аж 10руб в месяц))))

Сайт продан.

iKiller:
Предварительно забираю. Возраст сайта какой?

Даю Вам 2 часа, чтобы постучаться мне в аську.

По истечению срока сайт переходит linweb.

linweb:
Доход в сутки? В месяц? В год?

В столетие)))

Естественно, что в день.

Всего: 1386