Форум Практика оптимизации Doorways & Cloaking

Как вы загоняете большое количество доров в индекс?

1... 91011121314151617 ...32
S
На сайте с 25.12.2003
Offline
173
Saney
#121
MO $$$:
Всё вышеописанное можно сделать средствами nginx например :).

Ты удивишься, но, большинство тут не знают как и с .htaccess сделать. Им готовый скрипт подавай :D Я года 2-3 назад этот метод спалил - никто не использует. Все ноют и платят кому-то за привод гуглбота :)

Сделай и выложи будь добр для nginx, а я пока напишу на php без .htaccess.

Красивые сниппеты Google ( https://saney.com/tools/google-snippets-generator.html )
Секреты индексации динамических страниц #SMMнеРаботает, но вы держитесь В работе WordPress 5.5
M
На сайте с 18.10.2006
Offline
185
MO $$$
#122

Это делается обычными штатными средствами :). Реализация мб только более красивая, более универсальная и т.д. Но это не играет роли :).

А писать тут готовый код - что мне, что тебе - а смысл? Идея выше изложена. Методы тоже. Кому надо - напишет, либо сам... Либо за 5-10 долларов на фрилансе закажет под свои нужды. Смысла тут выкладывать что--либо я не вижу :).

Кому-то - асерет-а-диброт, а кому-то - хатуль мадан. Вам выбирать!
WEB-дизайн против SEO-контента: Как Freelancehunt: Женщины-фрилансеры зарабатывают в Платон Щукин: «Ссылки покупать
S
На сайте с 25.12.2003
Offline
173
Saney
#123

Друзья, вот вам рабочая lite версия моего скрипта для массового приглашения googlebot на чужие ссылки, сайты, доры через редиректы в sitemap.txt. И не говорите больше никогда, что это дорого и невозможно 🤣

1. Нужен новый домен/поддомен, добавленный в Google Search Console.

2. Заливаете файл links.txt со списком ваших url в корень.

3. Заливаете этот index.php в корень. 


<?php

define( 'SITE_PROTOCOL', 	'https' ); 

define( 'HOMEPAGE_LINKS', 	'1' ); // 1 - ON, 0 - OFF

/* 

1 - показывает на морде 100-150 random ссылок из sitemap.txt для googlebot, на больших файлах жрет память/процессор, будет перемешивать большой массив array_rand( $sitemap_arr, 150 ). По-этому, делайте links.txt до 1000 ссылок. Когда морда сайта быстрая, валидна под mobile и обновляется - googlebot будет часто пастись на ней.



0 - на морде не показывает ссылки, редиректы из sitemap.txt работают штатно, этого вполне достаточно.



Для работы скрипта надо (apache, nginx, php5+):

1. Добавить ненужный вспомогательный домен/поддомен/фрином в Google Search Console, подтвердить html файлом.

2. Создать файл links.txt - в него добавить ссылки, домены, которые надо проиндексировать. Лучше до 1000 штук.

3. Закачать links.txt и этот index.php в корень вспомогательного домена.

4. Вызвать в браузере этот домен: https://domain.com/ - он создаст sitemap.txt

5. В Google Search Console добавить sitemap.txt на индексацию + морду сайта тоже на индексацию.

6. Готово.



*/

error_reporting( E_ERROR | E_PARSE );



if ( !file_exists( 'sitemap.txt' ) ){

	$links_arr = file( 'links.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );

	if( sizeof( $links_arr ) != 0 ){

		$links_arr = file( 'links.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );

		$var = chr( mt_rand( 97, 122 ) ) . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 5, 9 ) );

		$sitemap = '';

		foreach ( $links_arr as $k => $v ){

			$sitemap .= SITE_PROTOCOL."://" . $_SERVER['HTTP_HOST'] . "/index.php?" . $var . "=" . ( $k + 1 ) . "\n";

		}

		file_put_contents( 'sitemap.txt', trim( $sitemap ) );

		header("Location: ".SITE_PROTOCOL."://" . $_SERVER['HTTP_HOST'] ."/");

		exit();

	}

}elseif( $_SERVER['REQUEST_URI'] == '/'){

	

?><!doctype html>

<html>

<head>

<title><?php echo $_SERVER['HTTP_HOST'] . ' ' . md5( time() ); ?></title>

<meta charset="utf-8" />

<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">

<meta name="viewport" content="width=device-width, initial-scale=1.0">

<meta name="googlebot" content="index, follow, noarchive" />

<meta name="robots" content="index, follow, noarchive" />		

<link rel="canonical" href="<?php echo SITE_PROTOCOL . '://' . $_SERVER['HTTP_HOST']; ?>/" />

<style>

html, body { font-size: 1rem; padding: 10px; text-align:center; }

a { margin: 20px 20px 20px 20px; line-height: 1rem; display: inline-block;}

</style>

<meta name="google" content="notranslate" />

</head>

<body>

<h2><?php echo $_SERVER['HTTP_HOST'] . ' ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 10, 16 ) ) ; ?></h2>

<p><?php echo substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' <strong> ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' </strong> ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ); ?></p>

<div>

<?php 

if( HOMEPAGE_LINKS == '1'){

	$sitemap_arr = file( 'sitemap.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );

	$links_keys = array_rand( $sitemap_arr, mt_rand( 100, 150 ) );

	$links_html = '';

	foreach( $links_keys as $k => $v ){

		$links_html .= ' <a href="'.trim( $sitemap_arr[ $v ] ).'">'.chr( mt_rand( 97, 122 ) ) .'</a> ';

		if( $k % mt_rand( 10, 14) == 0 && $k != 0 ) $links_html .= "<br>" . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 10, 16 ) ) . "<br>";

	}

	echo $links_html;

}

?>

</div>

<p>Copyright <?php echo $_SERVER['HTTP_HOST']; ?> All Rights Reserved</p>

</body></html>

<?php	



}else{

	$links_arr = file( 'links.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );

	$sitemap_arr = file( 'sitemap.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );

	$dynamic_var = $sitemap_arr[0];

	

    preg_match( '/php\?(.*?)=/s', trim( $sitemap_arr[0] ), $matches);

    $dynamic_var = isset( $matches[1] ) ? $matches[1] : '';



	if( $dynamic_var != '' && $_REQUEST[ $dynamic_var ] != '' ){

		$link_id = htmlspecialchars( $_REQUEST[ $dynamic_var ] );

		if ( is_numeric( $link_id ) && isset( $links_arr[ $link_id - 1 ] ) ){

			header("HTTP/1.1 301 Moved Permanently");

			header("Location: ".$links_arr[ $link_id - 1 ]."");

			exit();

		}else{

			header($_SERVER["SERVER_PROTOCOL"]." 404 Not Found"); exit; 

		}

	}else{

		header($_SERVER["SERVER_PROTOCOL"]." 404 Not Found"); exit; 

	}

}



?>

4. Вызываете морду сайта - оно создаст sitemap.txt.

5. Добавляете sitemap.txt в Google Search Console на индексацию.

6. Добавляете морду сайта тоже на индексацию.

7. Готово.

В Google Search Console В новом Search Console Google улучшил отчёт о
CF
На сайте с 15.03.2018
Offline
10
CryptosFever
#124
Saney:
Друзья, вот вам рабочая lite версия моего скрипта для массового приглашения googlebot на чужие ссылки, сайты, доры через редиректы в sitemap.txt. И не говорите больше никогда, что это дорого и невозможно 🤣

все круто, спасибо большое, только у меня на главной почему-то не ссылками выводится, а просто хеш, я так понимаю: https://yadi.sk/i/4TZI0IxF9T6DJQ

это я что-то не так сделал?

Glueon
На сайте с 26.07.2013
Offline
172
Glueon
#125

Новый владельцы - засранцы конечно, за две недели не починить систему репутации. Пишу это больше, чтобы не забыть отблагодарить Saney, когда все починят. Респект!

Есть много IP-сетей в аренду под прокси, парсинг, рассылки (optin), vpn и хостинг. Телега: @contactroot ⚒ ContactRoot команда опытных сисадминов (/ru/forum/861038), свой LIR: сдаем в аренду сети IPv4/v6 (/ru/forum/1012475).
CF
На сайте с 15.03.2018
Offline
10
CryptosFever
#126
CryptosFever:
все круто, спасибо большое, только у меня на главной почему-то не ссылками выводится, а просто хеш, я так понимаю: https://yadi.sk/i/4TZI0IxF9T6DJQ

это я что-то не так сделал?

разобрался, я на тест закинул 3 ссылки, а рандом стоял 100-150, вот оно и не работало, есть, правда, тоже интересный момент, я закинул 4 ссылки, поставил рандом 1-3 ссылок, но иногда при рефреше главная пустая, не отдает ссылок. но это мелочи жизни :)

Евгений Тарасов: Сейчас Яндекс Как сэкономить 3 000 Константин Леонович на NetPromoter
S
На сайте с 25.12.2003
Offline
173
Saney
#127
CryptosFever:
разобрался, я на тест закинул 3 ссылки, а рандом стоял 100-150, вот оно и не работало, есть, правда, тоже интересный момент, я закинул 4 ссылки, поставил рандом 1-3 ссылок, но иногда при рефреше главная пустая, не отдает ссылок. но это мелочи жизни :)

Да, так и есть. Там недочет, прошу прощения. Это я кинул какую-то свою урезанную версию. Там нет проверки на файл, где ссылок меньше 100. А редактировать пост уже нельзя. Я не подумал, что людям надо меньше 100 ссылок проиндексировать. "Большое количество доров" в названии темы вскружило мне голову :D

Замените строку

$links_keys = array_rand( $sitemap_arr, mt_rand( 100, 150 ) );

на 


if( sizeof( $sitemap_arr ) >= 150 ) $links_keys = array_rand( $sitemap_arr, mt_rand( 100, 150 ) );
else $links_keys = array_rand( $sitemap_arr, sizeof( $sitemap_arr ) );

или вот исправленная версия

<?php
define( 'SITE_PROTOCOL', 	'https' ); 
define( 'HOMEPAGE_LINKS', 	'1' ); // 1 - ON, 0 - OFF
/* 
1 - показывает на морде 100-150 random ссылок из sitemap.txt для googlebot, на больших файлах жрет память/процессор, будет перемешивать большой массив array_rand( $sitemap_arr, 150 ). По-этому, делайте links.txt до 1000 ссылок. Когда морда сайта быстрая, валидна под mobile и обновляется - googlebot будет часто пастись на ней.

0 - на морде не показывает ссылки, редиректы из sitemap.txt работают штатно, этого вполне достаточно.

Для работы скрипта надо (apache, nginx, php5+):
1. Добавить ненужный вспомогательный домен/поддомен/фрином в Google Search Console, подтвердить html файлом.
2. Создать файл links.txt - в него добавить ссылки, домены, которые надо проиндексировать. Лучше до 1000 штук.
3. Закачать links.txt и этот index.php в корень вспомогательного домена.
4. Вызвать в браузере этот домен: https://domain.com/ - он создаст sitemap.txt
5. В Google Search Console добавить sitemap.txt на индексацию + морду сайта тоже на индексацию.
6. Готово.

*/
error_reporting( E_ERROR | E_PARSE );

if ( !file_exists( 'sitemap.txt' ) ){
	$links_arr = file( 'links.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );
	if( sizeof( $links_arr ) != 0 ){
		$links_arr = file( 'links.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );
		$var = chr( mt_rand( 97, 122 ) ) . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 5, 9 ) );
		$sitemap = '';
		foreach ( $links_arr as $k => $v ){
			$sitemap .= SITE_PROTOCOL."://" . $_SERVER['HTTP_HOST'] . "/index.php?" . $var . "=" . ( $k + 1 ) . "\n";
		}
		file_put_contents( 'sitemap.txt', trim( $sitemap ) );
		header("Location: ".SITE_PROTOCOL."://" . $_SERVER['HTTP_HOST'] ."/");
		exit();
	}
}elseif( $_SERVER['REQUEST_URI'] == '/'){
	
?><!doctype html>
<html>
<head>
<title><?php echo $_SERVER['HTTP_HOST'] . ' ' . md5( time() ); ?></title>
<meta charset="utf-8" />
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="googlebot" content="index, follow, noarchive" />
<meta name="robots" content="index, follow, noarchive" />		
<link rel="canonical" href="<?php echo SITE_PROTOCOL . '://' . $_SERVER['HTTP_HOST']; ?>/" />
<style>
html, body { font-size: 1rem; padding: 10px; text-align:center; }
a { margin: 20px 20px 20px 20px; line-height: 1rem; display: inline-block;}
</style>
<meta name="google" content="notranslate" />
</head>
<body>
<h2><?php echo $_SERVER['HTTP_HOST'] . ' ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 10, 16 ) ) ; ?></h2>
<p><?php echo substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' <strong> ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ) . ' </strong> ' . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 8, 14 ) ); ?></p>
<div>
<?php 
if( HOMEPAGE_LINKS == '1'){
	$sitemap_arr = file( 'sitemap.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );
	if( sizeof( $sitemap_arr ) >= 150 ) $links_keys = array_rand( $sitemap_arr, mt_rand( 100, 150 ) );
	else $links_keys = array_rand( $sitemap_arr, sizeof( $sitemap_arr ) );
	$links_html = '';
	foreach( $links_keys as $k => $v ){
		$links_html .= ' <a href="'.trim( $sitemap_arr[ $v ] ).'">'.chr( mt_rand( 97, 122 ) ) .'</a> ';
		if( $k % mt_rand( 10, 14) == 0 && $k != 0 ) $links_html .= "<br>" . substr( md5( time() + mt_rand( 1, 9999) ), 0, mt_rand( 10, 16 ) ) . "<br>";
	}
	echo $links_html;
}
?>
</div>
<p>Copyright <?php echo $_SERVER['HTTP_HOST']; ?> All Rights Reserved</p>
</body></html>
<?php	

}else{
	$links_arr = file( 'links.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );
	$sitemap_arr = file( 'sitemap.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );
	$dynamic_var = $sitemap_arr[0];
	
    preg_match( '/php\?(.*?)=/s', trim( $sitemap_arr[0] ), $matches);
    $dynamic_var = isset( $matches[1] ) ? $matches[1] : '';

	if( $dynamic_var != '' && $_REQUEST[ $dynamic_var ] != '' ){
		$link_id = htmlspecialchars( $_REQUEST[ $dynamic_var ] );
		if ( is_numeric( $link_id ) && isset( $links_arr[ $link_id - 1 ] ) ){
			header("HTTP/1.1 301 Moved Permanently");
			header("Location: ".$links_arr[ $link_id - 1 ]."");
			exit();
		}else{
			header($_SERVER["SERVER_PROTOCOL"]." 404 Not Found"); exit; 
		}
	}else{
		header($_SERVER["SERVER_PROTOCOL"]." 404 Not Found"); exit; 
	}
}

?>

Если захотите модифицировать/добавить новых ссылок, то придется удалять старый sitemap.txt. Он сгенерится новый, с уже новыми ссылками. Старые не будут работать. А Googlebot будет подолжать по ним ходить с 404 ошибкой, даже, если вы удалите sitemap в консоли. Потом он прекратит этот домен вообще индексировать. Лучше так не делать. Один раз сгенерите, отправьте на индексацию и все. Либо ковыряйтесь в скрипте. Я просто устал уже читать это нытье и выложил решение, какое есть :)

Кто хочет, может наворотить этот скрипт по своему усмотрению. У меня лично сам этот вспомогательный сайт на 1000 текстовых страниц. И вместо хэшей там генеренный текст, чтобы в индексе держало долго. Или тематический текст, который и позиции в поиске какие-то имеет. И есть настройки, чтобы с ключевыми словами ссылки были на редиректы, и не по 100, а по 1 на странице. Но, редиректов в sitemap.txt вам хватит с головой. Также, имейте ввиду, что гугл сейчас любит быстрые сайты. Прикрутите домен к CloudFlare (он, образно говоря, в соседнем здании от google) - и будет еще быстрее индексировать.

Всем удачи.

Кто чем загоняет сайты Некоторые важные страницы были Гугл аддурилка
CF
На сайте с 15.03.2018
Offline
10
CryptosFever
#128
Saney:

Всем удачи.

Спасибо, скрипт отличный!

VC
На сайте с 10.05.2019
Offline
0
VasiliyCheh
#129

Очень сомнительная схема, во-первых эта перелинковка ни к чему хорошему не ведёт, во-вторых много ограничений и сложностей. В третьих тестил, мне не понравилось, процента 3 зашло и то не понятно благодаря этой схеме или нет, а потанцевать с бубном пришлось.

А потом мы удивляемся почему вылетают сайты массово из поиска.

Спрашиваем и отвечаем по Размер шрифта для h1 FilePost.com файлообменник - официальный
Glueon
На сайте с 26.07.2013
Offline
172
Glueon
#130
VasiliyCheh:
Очень сомнительная схема, во-первых эта перелинковка ни к чему хорошему не ведёт, во-вторых много ограничений и сложностей. В третьих тестил, мне не понравилось, процента 3 зашло и то не понятно благодаря этой схеме или нет, а потанцевать с бубном пришлось.
А потом мы удивляемся почему вылетают сайты массово из поиска.

Вы точно про доры речь ведете? Как бы у них судьба такая, что ничем хорошим обычно ничего не заканчивается, лол.

1... 91011121314151617 ...32

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий