- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
нужно спарсить страничку с cms WP имея её короткий адрес, вида site.ru/?p=135 который редиректит уже на site.ru/chpu_ssilka
Как спарсить curl-ом страницу на которую редиректит нужная?
CURLOPT_FOLLOWLOCATION => true
Не будет работать при safe_mode и open_basedir. В таком случае придется эмулировать ее - в сети есть примеры.
CURLOPT_FOLLOWLOCATION => true
делаю так:
$ch = curl_init (); // инициализация
curl_setopt ($ch , CURLOPT_URL , "http://site.ru/?p=135"); // адрес страницы для скачивания
curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7"); // каким браузером будем прикидываться
curl_setopt($ch, CURLOPT_TIMEOUT, 3); //TIMEOUT
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //Переходим по редиректам
curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 ); // выводим загруженную страницу в переменную
$content = curl_exec($ch); // скачиваем страницу
curl_close($ch); // закрываем соединение
в $ch пусто.
в $ch пусто.
Почему $ch если результат выполнения находиться в $content
Почему $ch если результат выполнения находиться в $content
я опечатался, в $content пусто
если задаю страницу конечную в скрипте, то её выводит.
---------- Добавлено 04.06.2013 в 12:43 ----------
CURLOPT_FOLLOWLOCATION => true
Не будет работать при safe_mode и open_basedir. В таком случае придется эмулировать ее - в сети есть примеры.
спасибо за подсказку.
если кто будет искать и попадет на эту тему:
сделал так
Для решения этой проблемы воспользуйтесь следующей функцией вместо curl_exec.
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops >= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
list($header, $data) = explode("\r\n\r\n", $data, 2);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302){
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
if (!$url){
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!$url['scheme'])
$url['scheme'] = $last_url['scheme'];
if (!$url['host'])
$url['host'] = $last_url['host'];
if (!$url['path'])
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
//debug('Redirecting to', $new_url);
return curl_redir_exec($ch);
}else{
$curl_loops=0;
return $data;
}
}
я себе давно такой кастыль для редиректов написал
if (preg_match('#Location: ([\S]+)#',$res,$rr))
{
$res = crl($rr[1],'',$url,'');
}
crl - сама функция\обертка для курла
иф код 200 {} элс {}