Форум Сайтостроение Веб-строительство

Вопрос по работе multi_curl

A
На сайте с 21.07.2010
Offline
10
arbuzzz
694

Работа идет через разные прокси. В ответ от сервера некоторые страницы приходят с параметром 

Transfer-Encoding: chunked

На сколько я понял, это значит, что страница отдается какими-то частями. Соответственно мне приходит только часть нужной мне страницы. Подскажите, как получить всю страницу?

N
На сайте с 06.05.2007
Offline
419
netwind
#1

curl как раз и создан чтобы скрывать подобные детали в протоколе. а не страдаете ли вы какой-нибудь фигней? пишите проще.

Кнопка вызова админа ()
A
На сайте с 21.07.2010
Offline
10
arbuzzz
#2
netwind:
curl как раз и создан чтобы скрывать подобные детали в протоколе. а не страдаете ли вы какой-нибудь фигней? пишите проще.

Проще только curl в один поток последовательно. При большом кол-ве обращений получается слишком долго. У меня просто есть подозрение, что multi_curl может этого не уметь. Потому при последовательных запросах такой проблемы вроде как не возникало.

Конституционный суд в Украине curl, запрос страницы сайта 43к back-запросов - много
I
На сайте с 26.08.2010
Offline
18
Inserp
#3

Что показывают функции curl_getinfo() и curl_error() для страниц, которые загружаются не до конца?

SJ
На сайте с 16.03.2008
Offline
78
sokol_jack
#4

Не может ли быть проблема в том, что:

PHP prior to 5.3.0 does not implement chunked transfer decoding. If this value is set to 1.1 it is your responsibility to be 1.1 compliant.

http://ua2.php.net/manual/en/context.http.php

Еще тут - http://jaybyjayfresh.com/2008/09/02/chunks-chunks-chunks/

Любимый хостинг (http://beget.ru?id=2902) How can we grow old when the soundtrack of our lives is rock-n-roll?
A
На сайте с 21.07.2010
Offline
10
arbuzzz
#5
sokol_jack:
Не может ли быть проблема в том, что:


http://ua2.php.net/manual/en/context.http.php


Еще тут - http://jaybyjayfresh.com/2008/09/02/chunks-chunks-chunks/

Видимо да. Спасибо большое. Но как выяснилось это не единственная проблема. Часть проксей жутко медленные и просто не успевают отдать все данные за отведенное время.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий