Sape любит ПС Яндекс ;)

12
AH
На сайте с 18.03.2006
Offline
204
#11
dkameleon:
тожек блочат, когда слишком много запросов в единицу времени привалит с одного айпишника.

Проверил, более 1000 запросов со своего IP домашнего сделал, пока Яндекс открывается :)

Цены на регистрацию доменов ( https://1reg.online/domains.price ).
AlexVenga
На сайте с 10.04.2007
Offline
190
#12

В правилах пользования Яндекс есть пунктик о том что запрещается пользоваться ЛЮБЫМИ способами автоматизации запросов!

Такой бан ловит Ип вашего сервера очень быстро (потому что этот код вызывается при каждом просмотре страницы) - у меня был опыт бана яндекса за такие вещи - не советую

Антикризисное предложение: [Бурж, AdSense] [NEW] Сайты - каталоги компаний с гарантией трафа [Дорого] (/ru/forum/1006462)
AH
На сайте с 18.03.2006
Offline
204
#13
Flint:
Я так думаю от 10мс до 1-2с хватит...

Запросы к Яндексу идут лишь только когда бот Sape обращается к странице, может у них там тоже есть засыпанеие на какое-то время, хотя может и не засыпают, если все сайты по очереди индексируются.

AH
На сайте с 18.03.2006
Offline
204
#14
AlexVenga:
В правилах пользования Яндекс есть пунктик о том что запрещается пользоваться ЛЮБЫМИ способами автоматизации запросов!

Так автоматизация же не вечная, код сделал работу и после удаляешь, да он и не нужен уже будет после как в Sape сайт будет отмодерирован

Flint
На сайте с 25.12.2002
Offline
98
#15
Art-Host:
Запросы к Яндексу идут лишь только когда бот Sape обращается к странице

Art-Host, Читайте пост выше :)

AlexVenga:
код вызывается при каждом просмотре страницы

Хотя со слипом не должны успеть забанить... После индексации сапой только надо обязательно код убрать :)

С уважением, Копылов Кирилл | ICQ - 505-982 | Тел. +7 (8412) 25-22-00
AH
На сайте с 18.03.2006
Offline
204
#16

Доделанный до ума код:

<?

$uri = $HTTP_SERVER_VARS["REQUEST_URI"];
if($uri[strlen($uri)-1]=="/") $uri = "".substr($uri,0,strlen($uri)-1);
$url = "http://www.".$HTTP_SERVER_VARS["HTTP_HOST"].$uri;
$url = str_replace("http://www.","",$url);
$url_www = rawurlencode("www.".$url);
$url = rawurlencode($url);
$ya = "http://www.yandex.ru/yandsearch?rpt=rad&text=url%3D%22".$url_www."%22+%7C+url%3D%22".$url."%22";
sleep(mt_rand(1,3));
$file=@file_get_contents($ya);
if(preg_match("!Результат поиска: страниц&nbsp;&mdash; <b>(.*?)</b>!si",$file,$ok)) $is = $ok[1];
if($is)
{
//.. ЗДЕСЬ КОД САПЕ
}
?>
antono
На сайте с 12.07.2004
Offline
297
#17

Art-Host будет не 1000 запросов а гораздо больше в сутки. Допустим добавляют 50 сайтов за день по 300 страниц каждый. 50*300 = 15000 запросов. И это самые скромные подсчеты.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий