Комментарии - wizzer - Профиль вебмастера - Форум об интернет-маркетинге

Сколько дорных страниц пережевывает Яндекс?

2 августа 2010, 17:21

Дeнис:Сколько дорных страниц пережевывает Яндекс?

Точного ответа на этот вопрос получить невозможно даже имея всю статистику поиска Яндекс. Потому, что дорвейная страница это довольно спорный термин: ей можно считать переоптимизированную страницу, которая только является посредником конечного контента для серфера, а можно считать переоптимизированную страницу которая частично или полностью даёт конечный контент.

Иными (вашими) словами можно сказать, что есть разные по цвету дорвеи — белые, серые, чёрные.

Также стоит отметить, что общий объём индекса Яндекса на данный момент около 11 млрд страниц, то задача по анализу количества «дорвейных страниц» (если будут установлены конкретные признаки таковых)* усложняется объёмами.

*Признаки эти сформировать практически нереально (собственно поэтому дорвеи ещё не побеждены поисковыми системами).

Ещё непонятно, что значит «пережёвывает»: индексирует за какой-то интервал времени?

Дeнис:например 10 млн. дорных страниц в сутки.

Держит в индексе?

Дeнис:например 3:1 (три дорных страницы против одной белой).

Ты очень ошибаешься приводя такой пример: в эпоху развития UGC и популяризации не стоит думать, что небольшая группа людей может автоматическими средствами создать более страниц, чем многомиллионная аудитория интернета.

Я считаю (без фактов — просто аналитика), что страниц, которые можно хоть как-то отнести к дорвейным не более 100 млн в индексе Яндекса (~1% общего индекса).

И думаю, что если даже ошибаюсь с числом, то можно быть уверенным хотя бы в относительной стабильности процента этих страниц.

Насчёт вопроса о серверах, то тут всё просто: будет выведена формула поиска «дорвейных страниц» плюс информация о серверах поискового индекса Яндекса — пропорция и результат.

Денис:хочется узнать, во сколько дорвейщики обходятся яндексу.

А зачем? У тебя проблемы как у Малыша из сказки Линдгрена?

требуются опытные дорвейщики.

30 июля 2010, 14:35

true-NuB:
Интересно, чтоб вы делали если бы у вас месяц не было воды и электричества.

у меня и щас нет :hardcore:

требуются опытные дорвейщики.

30 июля 2010, 13:44

СМО и вирусный маркетинг для доров!

Тренд этого лета!!!

Открылся бесплатный сервис парсинга

30 июля 2010, 13:28

true-NuB:
Ага, оч нужен парсер vBulletin® Version 3.6.8. , для черных дел.

есть мега скрипты от 4guru

Дескрипшины...

30 июля 2010, 13:16

eroconvert:
Тебе ж советовали в твоем же топике, что ен фарма дорвейщеги там только и тусуют...

хаха.

крутоп уже десяток лет форум авмов, но никак не дорвейщиков. да и все разделы кроме трёпа мертвы.

Пакетное добавление доменов в Директадмин

30 июля 2010, 13:12

<?
set_time_limit(0);
function get_page ($url,$var,$proxy,$ref)
{
$ch = curl_init(); 
if(isset($proxy))
curl_setopt ($ch, CURLOPT_PROXY, $proxy); 
curl_setopt ($ch, CURLOPT_URL, $url); 
curl_setopt ($ch, CURLOPT_USERAGENT, "Mozilla/4.0"); 
curl_setopt ($ch, CURLOPT_COOKIEJAR, "cookie.txt");
curl_setopt($ch, CURLOPT_COOKIEFILE,"cookie.txt");
curl_setopt ($ch, CURLOPT_HEADER, 0); 
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt ($ch, CURLOPT_TIMEOUT, 400);
curl_setopt($ch, CURLOPT_POST, 1); 
curl_setopt($ch, CURLOPT_POSTFIELDS, $var); 
curl_setopt($ch, CURLOPT_REFERER, $ref);
$result = curl_exec ($ch);
curl_close($ch);
return $result;
}

$ip="4.2.2.2"; // IP вашего сервера
$password="password"; // пароль
$result=get_page ("http://".$ip.":2222/CMD_LOGIN","referer=%2FCMD_ADDITIONAL_DOMAINS%3F&username=inferno&password=".$password,"","http://".$ip.":2222/CMD_ADDITIONAL_DOMAINS?");
$bufer=""; // вместо username=inferno поставьте логин юзера
$file=fopen("dom.txt","r"); // файл с доменами
while(!feof($file))
{
$bufer=fgets($file,100);
$bufer=ereg_replace("\n", "", $bufer);
$bufer=ereg_replace("\r", "", $bufer);
$result=get_page ("http://".$ip.":2222/CMD_DOMAIN","action=create&domain=". $bufer."&ubandwidth=unlimited&uquota=unlimited&cgi=ON&php=ON","","");
print $bufer." - ".$result;
}
fclose ($file);

?>

wizzer добавил 30.07.2010 в 17:14

Через api:


<?
$directadminurl="http://domen";
$login="login";
$pass="pass";

set_time_limit(0);



?>


<form method="post">
<textarea name="domains" rows=10 cols=40><?if ( isset($_POST['domains']) ) echo $_POST['domains'];?></textarea><br /><br />
<textarea name="subdomains" rows=10 cols=40><?if ( isset($_POST['domains']) ) echo $_POST['subdomains'];?></textarea><br /><br />
<input name=push type="submit" value="Add">





</form>

<?

flush();


if( isset( $_POST['push'] ) ){

$domains=explode("\r\n",$_POST['domains']);
$subdomains=explode("\r\n",$_POST['subdomains']);

for( $i=0;$i<count($domains);$i++ ){
    adddomain( trim ($domains[$i]) );
	for( $i2=0; $i2<count($subdomains); $i2++ ) {
        addsubdomain( trim($domains[$i]), trim($subdomains[$i2]) );
		} echo "<br><br>";
	}



}


function addsubdomain( $domain, $subdomain ){

			global $directadminurl, $login, $pass;
			$ckfile = "./kuki.txt";

			$ch = curl_init();

			$headers[] = 'Accept: image/gif, image/x-bitmap, image/jpeg, image/pjpeg';
			$headers[] = 'Connection: Keep-Alive';
			$headers[] = 'Content-type: application/x-www-form-urlencoded;charset=UTF-8';
			$user_agent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0)';


			curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
			curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
			curl_setopt($ch, CURLOPT_URL, $directadminurl."CMD_LOGIN");
			curl_setopt($ch, CURLOPT_COOKIEJAR, $ckfile);
			curl_setopt($ch, CURLOPT_POST, 1);
			curl_setopt($ch, CURLOPT_POSTFIELDS, "username=$login&password=$pass&referer=/");
			$result = curl_exec($ch);
			curl_close($ch);

            $ch = curl_init();
			curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
			curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
			curl_setopt($ch, CURLOPT_URL, $directadminurl."CMD_SUBDOMAIN");
			curl_setopt($ch, CURLOPT_COOKIEFILE, $ckfile);
			curl_setopt($ch, CURLOPT_POST, 1);
			curl_setopt($ch, CURLOPT_POSTFIELDS, "action=create&domain=$domain&subdomain=$subdomain");
			$result = curl_exec($ch);
			curl_close($ch);
			echo "subdomain $subdomain.$domain... OK<br>";flush();

}




function adddomain( $domain ){

			global $directadminurl, $login, $pass;
			$ckfile = "./kuki.txt";

			$ch = curl_init();

			$headers[] = 'Accept: image/gif, image/x-bitmap, image/jpeg, image/pjpeg';
			$headers[] = 'Connection: Keep-Alive';
			$headers[] = 'Content-type: application/x-www-form-urlencoded;charset=UTF-8';
			$user_agent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0)';

			curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
			curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
			curl_setopt($ch, CURLOPT_URL, $directadminurl."CMD_LOGIN");
			curl_setopt($ch, CURLOPT_COOKIEJAR, $ckfile);
			curl_setopt($ch, CURLOPT_POST, 1);
			curl_setopt($ch, CURLOPT_POSTFIELDS, "username=$login&password=$pass&referer=/");
			$result = curl_exec($ch);
			curl_close($ch);
			if( $result ) echo "LOGIN... OK<br>";flush();

			$ch = curl_init();

			curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
			curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
			curl_setopt($ch, CURLOPT_URL, $directadminurl."CMD_DOMAIN");
			curl_setopt($ch, CURLOPT_COOKIEFILE, $ckfile);
			curl_setopt($ch, CURLOPT_POST, 1);
			curl_setopt($ch, CURLOPT_POSTFIELDS, "action=create&domain=$domain&php=on");
			$result = curl_exec($ch);
			curl_close($ch);
			if( $result ) echo "Add domain $domain... OK<br>";flush();

}
?>