Хитрый парсинг

M9
На сайте с 15.05.2014
Offline
79
706

Как Спарсить если 403 Forbidden но браузер может читать этот линк вот запрос что отправить хром:

curl "https://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm?itemId=528143060466&sellerId=73608777&modules=qrcode,viewer,price,contract,duty,xmpPromotion,dynStock,delivery,upp,sellerDetail,activity,fqg,zjys,coupon,soldQuantity&callback=onSibRequestSuccess" -H "pragma: no-cache" -H "accept-encoding: gzip, deflate, sdch, br" -H "accept-language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4" -H "user-agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" -H "accept: */*" -H "cache-control: no-cache" -H "authority: detailskip.taobao.com" -H "cookie: cna=9WD3Dfc+3FgCAdkIJf6M2LRY; thw=xx; fbm_824328494287859=base_domain=.taobao.com; ali_ab=85.9.142.6.1466850884953.7; v=0; uc3=sg2=AHnQ5jp22rPVSKR8QK47MxtqAYwzmriEqYdXrudYmUA"%"3D&nk2=DkXGXaAkkckvzVGG9vbFuh57OwE"%"3D&id2=UU23C"%"2BG"%"2BLzgN7Q"%"3D"%"3D&vt3=F8dAS1Ifw7lY2uX4000"%"3D&lg2=UtASsssmOIJ0bQ"%"3D"%"3D; hng=CN"%"7Czh-cn"%"7CCNY; existShop=MTQ3MjM4OTE0MA"%"3D"%"3D; uss=U7H0MLkPHjKMvdsB8Pmo4yojEmM1K0Nh3ZLn6YVd"%"2BOoIOtoGqYS2aDasHQ"%"3D"%"3D; lgc=mukhiddinsharafiddin; tracknick=mukhiddinsharafiddin; sg=n13; skt=9cb0a0022fc4723a; _cc_=W5iHLLyFfA"%"3D"%"3D; tg=0; _l_g_=Ug"%"3D"%"3D; mt=ci=34_1&cyk=1_2; cookie2=1cfae800de2c4bc19417354a83788a68; cookie1=UUH3jqSw0gl7QfW467bV5"%"2FmuZ1X9Ydst9jgWQxSNTjA"%"3D; unb=2558631041; t=0aa9f097e8df27033091b355d1c41456; _nk_=mukhiddinsharafiddin; cookie17=UU23C"%"2BG"%"2BLzgN7Q"%"3D"%"3D; l=AgUFOYiPpBD3XmsxkzLmrlG2lUsh6Lkg; isg=As_PEr_mxARHgMDIcYxJX-vMXmO9RCMWW6HDIuHCQD4xsMqy6ca_Z5LilFf0; ucn=center; _tb_token_=ef3eb55e336e3; uc1=cart_m=0&cookie14=UoWwJrhARIfvxQ"%"3D"%"3D&lng=zh_CN&cookie16=W5iHLLyFPlMGbLDwA"%"2BdvAGZqLg"%"3D"%"3D&existShop=false&cookie21=WqG3DMC9Fb5mPLIQo9kR&tag=3&cookie15=U"%"2BGCWk"%"2F75gdr5Q"%"3D"%"3D&pas=0; x=e"%"3D1"%"26p"%"3D*"%"26s"%"3D0"%"26c"%"3D0"%"26f"%"3D0"%"26g"%"3D0"%"26t"%"3D0"%"26__ll"%"3D-1"%"26_ato"%"3D0; whl=-1"%"260"%"260"%"261472392049156" -H "referer: https://item.taobao.com/item.htm?spm=a1z09.2.0.0.3KLIjY&id=528143060466&_u=s2c83741e744" --compressed

понятное дело что просто делать так не получится:

$ch = curl_init();  

curl_setopt($ch, CURLOPT_URL, 'https://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm?itemId=528143060466&sellerId=73608777&modules=qrcode,viewer,price,contract,duty,xmpPromotion,dynStock,delivery,upp,sellerDetail,activity,fqg,zjys,coupon,soldQuantity&callback=onSibRequestSuccess');
curl_setopt($ch, CURLOPT_USERAGENT,'Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.7.62 Version/11.01');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);
print_r($result);

И как тут схитрить?

nezabor
На сайте с 19.07.2010
Offline
152
#1

mega94, я вас огорчу

Чудес не бывает...
R
На сайте с 31.08.2010
Offline
78
#2

Тоже самое 403 Forbidden

Хитрить здесь не надо, нужно просто посмотреть какие заголовки отправляет браузер и отправлять такие же.

M9
На сайте с 15.05.2014
Offline
79
#3
Rokkkin:
Тоже самое 403 Forbidden
Хитрить здесь не надо, нужно просто посмотреть какие заголовки отправляет браузер и отправлять такие же.

А примерчик не на бросите?

nezabor
На сайте с 19.07.2010
Offline
152
#4
mega94:
А примерчик не на бросите?

ИМХО дело в куках, походу там какой-то фильтр запрятан

R
На сайте с 31.08.2010
Offline
78
#5

mega94, не наброшу читайте про гет и пост запросы и про куки, а также про сниферы почитайте. Ибо каждый случай индивидуален, откуда я знаю что у вас там?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий