парсер json данных c https

79

mega94

17 ноября 2017, 18:09

1428

Пытаюсь с парсить эту страницу инфа лежит здесь при получения:

$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, 'https://list.taobao.com/itemlist/.htm?_input_charset=utf-8&json=on&cat=50067107&pSize=96&_ksTS=1510941965015_20&callback=jsonp21');
curl_setopt($curl, CURLOPT_RETURNTRANSFER,true);
curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0');
$out = curl_exec($curl);
curl_close($curl);
print_r($out);

получаю редирект думаю проблема в куках, не знаю какие куки нужны. Может есть знатоки?

1771

LEOnidUKG

17 ноября 2017, 18:13

#1

ну как вам сказать в чём проблема...

Тут не нужно быть знатаком, а надо просто сделать НОРМАЛЬНУЮ настройку curl и работать с ней.

А у вас какой-то кастрат.

Включите поддержку SSL

Включите поддержку куков

Обработайте редирект

1

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/

Проблема с cURL - Колдуем с файлом .htaccess Обновление кипера Webmoney и

FD

71

FrancisDarroze

17 ноября 2017, 18:16

#2

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST);

1

НАКРУТКА INSTAGRAM (https://instagram777.ru) - Смешные цены!

M9

79

mega94

17 ноября 2017, 18:27

#3

LEOnidUKG:
ну как вам сказать в чём проблема...

Тут не нужно быть знатаком, а надо просто сделать НОРМАЛЬНУЮ настройку curl и работать с ней.
А у вас какой-то кастрат.

Включите поддержку SSL
Включите поддержку куков
Обработайте редирект

Или добавить всего лишь такой:

$headers = [ 'cookie:miid=984846116396517077; x=e%3D1%26p%3D*%26s%3D0%26c%3D1%26f%3D0%26g%3D0%26t%3D0%26__ll%3D-1%26_ato%3D0; l=Ar29TaC9tUPVfBRnMdWwAFb-TRO3LfGm; UM_distinctid=15eb9d579c670-0ed0497cff2429-3a3e5f04-140000-15eb9d579c823e; ali_ab=95.142.87.129.1507756158812.5; cna=h7C4EE/xFgsCAV+OV4tMTBCD; thw=cn; _m_h5_tk=3d841eccc38fe7da4bcbdd6e7666a446_1510473173019; _m_h5_tk_enc=33c2ae49afaad29e59497007f4271b17; cookie2=2b3ad7b6fc3e7207b789fbad67a87ede; t=f06073364d8c8bcc432b29e6220ef423; _cc_=UIHiLt3xSw%3D%3D; tg=0; _tb_token_=546bbaaeb5453; linezing_session=piM7LzmBmaCf6JsvXC8g5Vsj_15109363339915e0b_4; uc2=wuf=https%3A%2F%2Frefund2.tmall.com%2Fdispute%2Fdetail.htm%3FbizOrderId%3D76721035057810303%26disputeId%3D4909208229810303%26type%3D1; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0&cyk=-1_-1; v=0; isg=AiEhHGY83_8K_nCgv1ihMICNMO37ZpTD1EPWAYP3ySik6kC8yxq3kCxiaCgX',
'User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:28.0) Gecko/20100101 Firefox/28.0',
];
curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);

кусок кода?

FD

71

FrancisDarroze

17 ноября 2017, 18:43

#4

mega94:
Или добавить всего лишь такой:

кусок кода?

Я вам крайне рекомендую обратиться к специалистам. Куки для каждой сессии разные выдаются.

1771

LEOnidUKG

17 ноября 2017, 18:45

#5

Или добавить всего лишь такой:

Нет. Это просто ключ сессии. Через 10 минут может быть нерабочим.

p.s. И зачем в header пихать куки, если в CURL есть для этого раздел.....

---------- Добавлено 17.11.2017 в 21:48 ----------

FrancisDarroze:

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST);

если писать то правильно:

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);

Как вы организуете сбор Как следить за сотнями Вновь капчта + curl

M9

79

mega94

17 ноября 2017, 19:07

#6

Конкретно, про эти cookie я точно не знаю, но сейчас как то такой метод работает.

1771

LEOnidUKG

17 ноября 2017, 19:10

#7

mega94:
Конкретно, про эти cookie я точно не знаю, но сейчас как то такой метод работает.

А через час перестанет 🍿

16

Николай Серваков

18 ноября 2017, 07:30

#8

добавить


            curl_setopt($c, CURLOPT_COOKIEFILE, cookie_file);

            curl_setopt($c, CURLOPT_COOKIEJAR, cookie_file);

Настройка лент WPGrabber (http://wpgrabber-tune.blogspot.com) Настрою парсер контента shs.parser (https://sites.google.com/view/shs-parser-sotbit) Сотбит

FD

71

FrancisDarroze

18 ноября 2017, 07:47

#9

Почитайте документацию по curl. Там все оочень и очень просто

M9

79

mega94

18 ноября 2017, 08:58

#10

Неа, работает, значить везде cookie разные.

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Маркетинг для шоколадной фабрики. На 34% выше средний чек