CURL не парзит https сайт

209

alexverem

6 марта 2020, 12:29

1139

Всем привет, столкнулся с проблемой, curl не может распарзить https страницу, при этом некоторые Https страницы на др сайтах ок.

Вот код, попробовал поиграть с этим параметрами

    curl_setopt( $ch, CURLOPT_SSL_VERIFYPEER, 0 ); 

    curl_setopt( $ch, CURLOPT_SSL_VERIFYHOST, 0 );

ничего не вышло. код целиком:

$USERAGENT = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)"; 

    $ch = curl_init( ); 

    curl_setopt( $ch, CURLOPT_URL, $url ); 

    curl_setopt( $ch, CURLOPT_USERAGENT, $USERAGENT ); 

    curl_setopt( $ch, CURLOPT_RETURNTRANSFER, 1 ); 

    curl_setopt( $ch, CURLOPT_SSL_VERIFYPEER, 0 ); 

    curl_setopt( $ch, CURLOPT_SSL_VERIFYHOST, 0 ); 

	

    curl_setopt( $ch, CURLOPT_REFERER, $ref ); 

    curl_setopt( $ch, CURLOPT_COOKIEJAR, "temp.txt" ); 

    curl_setopt( $ch, CURLOPT_COOKIEFILE, "temp.txt" ); 

    curl_setopt( $ch, CURLOPT_FOLLOWLOCATION, 1 ); 

    curl_setopt( $ch, CURLOPT_TIMEOUT, 60 ); 

    $get = curl_exec( $ch ); 

    curl_close( $ch ); 

    return $get;

217

skapunker

6 марта 2020, 12:30

#1

защита от ботов стоит, вот и все

2

1762

LEOnidUKG

6 марта 2020, 12:30

#2

Что значит, не парсит?! Что значит некоторые ок, а некоторые нет?

Вас просто может блокировать сайт и всё.

1

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/

A

209

alexverem

6 марта 2020, 13:31

#3

skapunker:
защита от ботов стоит, вот и все

А можно зашифроваться под юзера? Вроде стоит мозилла и тп в хедере

O

18

onep

6 марта 2020, 13:44

#4

Возможно, не хватает


curl_setopt($ch, CURLOPT_HEADER, false);

_

381

_SP_

6 марта 2020, 14:27

#5

Curl вообще-то парзить ничего не должен.

Если вы не получаете Curl то, что получаете своим браузером(отключив js ), то весьма вероятно что вас "спалили и забанили".

-S

1355

-= Serafim =-

6 марта 2020, 14:52

#6

Хорошо, что при помощи CF можно пачками в несколько кликов сеять все парсеры с более сложными алгоритмами. Задолбали грузить серваки все подряд.

1

299

tommy-gung

6 марта 2020, 15:44

#7

-= Serafim =-, кто захочет, обойдет любую защиту

Здесь не могла быть ваша реклама

-S

1355

-= Serafim =-

6 марта 2020, 15:48

#8

tommy-gung:
-= Serafim =-, кто захочет, обойдет любую защиту

Кому это надо? Берут другой донор и все, обходить защиты - это время и деньги.

118

SocFishing

6 марта 2020, 16:01

#9

Что выдаст

$url = '/;
if($curl = curl_init()) {
curl_setopt($curl,CURLOPT_URL, $url);
curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);
curl_setopt($curl,CURLOPT_FOLLOWLOCATION,true);
curl_setopt($curl,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($curl,CURLOPT_CONNECTTIMEOUT,15);
curl_setopt($curl,CURLOPT_USERAGENT,'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36');
$html = curl_exec($curl);
curl_close($curl);
}
echo $html;

Скорее всего да - ограничение сайта.

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.

O

18

onep

6 марта 2020, 17:02

#10

SocFishing:
Скорее всего да - ограничение сайта.

Да ладно ) А если так:


$url = '/;

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36');

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($ch, CURLOPT_HEADER, false);

$results = curl_exec ($ch);

curl_close($ch);



$doc = new DOMDocument();

@$doc->loadHTML($results);

$xpath = new DomXPath($doc);

$elements = $xpath->query('.//tr/td');

foreach ($elements as $i=>$element) {

	echo $xpath->query($element->getNodePath().'/div')->item(0)->nodeValue.'<br />';

}

Зачем быть уникальным в мире, где все можно скопировать

VK приобрела 70% в структуре компании-разработчика red_mad_robot