Поправьте скрипт для НЕпромыленного парсинга Яндекса

RomanЯ
На сайте с 21.11.2008
Offline
92
461

Подскажите срипт для не промышленного парсинга яндекса, для своих хоум нужд

1. украинский афпи

2. запуск с денвера

нижеприведенный скрипт банится после 4-10 попыток

таймаату между запусками rand(20,40);


<?
$zapros1=urlencode($zapros);
$url='http://yandex.ua/yandsearch?text='.$zapros1.'&site=&rstr=-213&zone=all&wordforms=all&lang=all&within=0&from_day=&from_month=&from_year=&to_day=&to_month=&to_year=&mime=all&numdoc=50&lr=143';

function MyReadUrl ($url,$zapros){//читаем инфо по указанному урлу
//echo $url;
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_TIMEOUT, 20);
curl_setopt($ch, CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)" );
curl_setopt($ch, CURLOPT_COOKIESESSION , 1);
curl_setopt($ch, CURLOPT_COOKIEFILE , 'Z:\\cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR , 'Z:\\cookie.txt');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
curl_setopt($ch, CURLOPT_REFERER, 'http://yandex.ru/yandsearch?text='.$zapros);
//curl_setopt($ch,CURLOPT_ENCODING ,'gzip,deflate');
$parsing = curl_exec($ch);
//echo $parsing;
curl_close($ch);

return $parsing;

}//function MyReadUrl ($url)
LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#1
нижеприведенный скрипт банится после 4-10 попыток

Прикрутить распознование каптчи или же использовать списки прокси. Иначе никак :)

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
RomanЯ
На сайте с 21.11.2008
Offline
92
#2
LEOnidUKG:
Прикрутить распознование каптчи или же использовать списки прокси. Иначе никак :)

беда... :)

спасибо;)

Милованов Ю.С
На сайте с 24.01.2008
Offline
196
#3

Видел в буржунете хороший прокси, я сам его юзал, правда он платный. Вообщем он при каждом запросе дает новый айпи. В КУРЛе Вы пишите тока 1 раз, а сам прокси-сервер у себя уже все это разруливает, и каждый раз посылает запрос на желаемый Вами ресурс с разных АйПи. Цена около 30 енотов в месяц, если мне не изменяет память.

Есть правда пробный период на 3 часа, можете попробовать так)))

Подпись))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий