php curl и редирект

DeL Esprit
На сайте с 27.01.2010
Offline
223
10075

нужно спарсить страничку с cms WP имея её короткий адрес, вида site.ru/?p=135 который редиректит уже на site.ru/chpu_ssilka

Как спарсить curl-ом страницу на которую редиректит нужная?

Тестирую облачный майнинг - узнаем развод или нет. - окупаемость 3 месяца? мелкие суммы (https://goo.gl/aPWmoj) | майнинг Monero, минимум $830 (https://goo.gl/3XivbP) Биржи (ввод/вывод) - на Приват (https://goo.gl/CGZTnD), на Payeer, Capitalist, Advcash, Qiwi... (https://goo.gl/eejAgs)
siv1987
На сайте с 02.04.2009
Offline
427
#1

CURLOPT_FOLLOWLOCATION => true

Не будет работать при safe_mode и open_basedir. В таком случае придется эмулировать ее - в сети есть примеры.

DeL Esprit
На сайте с 27.01.2010
Offline
223
#2
siv1987:
CURLOPT_FOLLOWLOCATION => true

делаю так:


$ch = curl_init (); // инициализация
curl_setopt ($ch , CURLOPT_URL , "http://site.ru/?p=135"); // адрес страницы для скачивания
curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7"); // каким браузером будем прикидываться
curl_setopt($ch, CURLOPT_TIMEOUT, 3); //TIMEOUT
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //Переходим по редиректам
curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 ); // выводим загруженную страницу в переменную
$content = curl_exec($ch); // скачиваем страницу
curl_close($ch); // закрываем соединение

в $ch пусто.

siv1987
На сайте с 02.04.2009
Offline
427
#3
DeL Esprit:
в $ch пусто.

Почему $ch если результат выполнения находиться в $content

DeL Esprit
На сайте с 27.01.2010
Offline
223
#4
siv1987:
Почему $ch если результат выполнения находиться в $content

я опечатался, в $content пусто

если задаю страницу конечную в скрипте, то её выводит.

---------- Добавлено 04.06.2013 в 12:43 ----------

siv1987:
CURLOPT_FOLLOWLOCATION => true
Не будет работать при safe_mode и open_basedir. В таком случае придется эмулировать ее - в сети есть примеры.

спасибо за подсказку.

если кто будет искать и попадет на эту тему:

сделал так

Для решения этой проблемы воспользуйтесь следующей функцией вместо curl_exec.

function curl_redir_exec($ch){
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops >= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
list($header, $data) = explode("\r\n\r\n", $data, 2);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302){
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
if (!$url){
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!$url['scheme'])
$url['scheme'] = $last_url['scheme'];
if (!$url['host'])
$url['host'] = $last_url['host'];
if (!$url['path'])
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
//debug('Redirecting to', $new_url);
return curl_redir_exec($ch);
}else{
$curl_loops=0;
return $data;
}
}
SK
На сайте с 31.08.2007
Offline
81
#5

я себе давно такой кастыль для редиректов написал

if (preg_match('#Location: ([\S]+)#',$res,$rr))

{

$res = crl($rr[1],'',$url,'');

}

crl - сама функция\обертка для курла

Нужен перенос информации? Информеры на сайт? Сграбить контент? Создать базу товаров? Изготовление любых парсеров! (/ru/forum/836197)
NG
На сайте с 09.05.2010
Offline
31
#6

иф код 200 {} элс {}

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий