Как правильно готовить curl_multi?

1104

Dram

22 ноября 2021, 19:39

369

Решил по экспериментировать с мульти курл. Взял 100 ссылок магазина штор который как то давно парсил и его ссылки были в базе под рукой.

Прогнал их через обычный курл + цикл

Далее погуглил про мультикурл и попробовал несколько примеров из сети, все они (я попробовал 3 разных варианта кода) выдавали примерно одинаковое время в РАЗЫ проигрывающее обычному курлу. Так что не так?

Вот последний опробованый код (там еще ПХП квери выше подключаю)

$urls = array(
    'https://www.shtory-star.ru/catalogue/rasprodaga/barhatnye-shtory-art-aoo-497.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-mari-2',
    'https://www.shtory-star.ru/catalogue/rasprodaga/barhatnye-shtory-art-aml-121.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/zhakkardovye-shtory-art-fzhs-389.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-iz-softa-art-avo-083.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/zhakkardovye-shtory-art-var-438.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-chlch-787.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/portery-dlya-dachi-i-kvartiry-super-za-dva-polotna-cvet-bordovyj-tyul-oplachivaetsya-otdelno-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-ku-14-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-kanvas-dzh-41',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-na-shtornoj-lente-zs-114',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-yadf-092.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-chld-837.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-blekaut-pod-len-art-lyach-007.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-zhatki-art-yayaz-219.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-zhatki-art-yalz-298.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/tyul-dlya-kuhni-arka-art-kuh-754.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-dlya-kuhni-iz-tyulya-vual-art-vyl-984.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/trehcvetnye-shtory-blekaut-s-risunkom-art-tfk-823.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kombinirovannye-shtory-blekaut-pod-len.-tyul-v-komplekt-ne-vhodit.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/trehcvetnye-shtory-blekaut.-tyul-v-komplekt-ne-vhodit.-art-smu-144.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/tyul-setka-s-cvetami-dlya-doma-ms-31',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-zs-33',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-pod-len-pp-20',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-ku-17-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-ms-3',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-pp-15',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-dlya-doma-ms-32',
    'https://www.shtory-star.ru/catalogue/rasprodaga/barhatnyj-shtory-zs-10',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-na-lyuversah-ms-37',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-blekaut-pp-181',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-art-mari-1',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-pp-91',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-na-shtornoj-lente-pp-111',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-pod-len-na-shtornoj-lente-pp-112',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-art-sr-1',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-plotnoj-tkani-art-mari-3',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-art-mchl-980.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-nyuta-art-rsp-789.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-art-ivz-901.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-softa.-art-rshu-948.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/tyul-violetta-na-lyuversah.-art-auo-289.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/gotovoia-organza-komplekti/komplekt-gotovoj-organzy-cvet-goluboj-cena-ot-470-rub',
    'https://www.shtory-star.ru/catalogue/kuhonnye-zanaveski-helga/kuhonnye-zanaveski-iz-tyulya-vual-cvet-bezhevyj-art-helga-1',
    'https://www.shtory-star.ru/catalogue/tul/gotovyj-tyul-cvet-karamel-matovaya-cena-ot-400-rub',
    'https://www.shtory-star.ru/catalogue/rasprodaga/tyul-vual-arka-.-art-lau-328.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-dlya-kuhni.-art-ovv-283.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory.-art-uaa-923.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-v-zal.-art-ufr-976.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-v-zal.-art-fov-287.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-v-zal.-art-posh-578.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-art-sev-354.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-s-risunkom-art-agp-548.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-s-risunkom-art-mgo-936.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-tyulya-vual-s-zadnim-belym-tyulem-v-podarok-art-vog-819.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-blekaut-art-cshv-384.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/barhatnye-shtory-art-rvf-739.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-tafty-art-sir-287.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-iz-tafty-art-rml-647.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/tyul-s-risunkom-romb-cvet-shokoladnyj.-art-pshl-856.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/barhatnye-shtory-art-vyo-478.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/barhatnye-shtory-art-alv-787.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/barhatnye-shtory-art-voa-791.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-ovshh-298.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-uao-983.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-lmd-287.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-lvd-098.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-ochz-820.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-sgd-585.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-yald-072.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-zlch-378.-rasrodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-lika-art-ldh-219.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/trehcvetnye-shtory-iz-plotnoj-porternoj-tkani-art-vyl-932-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-zhatki-art-dzy-912.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-iz-zhatki-art-lyad-273.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-dlya-dachi-i-doma-iz-zhakkarda-art-zhkg-982.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-kanvasa-do-podokonnika-art-pshsh-900.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/tyulevye-shtory-iz-treh-cvetov-art-vchl-090.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-blekaut-art-mit-374.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-blekaut-s-risunkom-art-smb-022.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-iz-zhatki-art-yauk-888.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/kuhonnye-shtory-iz-zhakkardovoj-tkani-art-lfs-820.-rasprodazha.',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-iz-tafty-sht-54',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-8-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-2-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-13-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-5-rasprodazha',
    'https://www.shtory-star.ru/catalogue/gotovoia-organza-komplekti/shtory-iz-organzy-cvet-persikovyj-cena-ot-470-rub',
    'https://www.shtory-star.ru/catalogue/tul-na-luversah-otdelkoi/tyul-na-lyuversah-dlya-kuhni-i-gostinoj-cvet-salatovyj-cena-ot-1000-rublej',
    'https://www.shtory-star.ru/catalogue/gotovoia-organza-komplekti/gotovaya-organza-cvet-belyj-cena-ot-470-rub',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-1-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-11-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-14-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-12-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-16-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/shtory-dlya-kuhni-ng-78-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-6-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-4-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-7-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-9-rasprodazha',
);


$multi = curl_multi_init();
$channels = array();

foreach ($urls as $url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

    curl_multi_add_handle($multi, $ch);

    $channels[$url] = $ch;
}

$active = null;
do {
    $mrc = curl_multi_exec($multi, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active && $mrc == CURLM_OK) {
    if (curl_multi_select($multi) == -1) {
        continue;
    }

    do {
        $mrc = curl_multi_exec($multi, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);
}

foreach ($channels as $channel) {
    // получаю содержимое загруженной страницы
    $content = curl_multi_getcontent($channel);

    $pq = phpQuery::newDocument($content);

    $elem = $pq->find('h1');
    $h1 = $elem->html();

    var_dump($h1);
    curl_multi_remove_handle($multi, $channel);
}

curl_multi_close($multi);
$finish = microtime(true);

$delta = $finish - $start;
echo ''.PHP_EOL;
echo 'Время выполнения - '. $delta . ' сек.'.PHP_EOL;

1741

LEOnidUKG

22 ноября 2021, 20:13

#1

Долбить магазин в 100 потоков, это конечно сильно.

Я бы тебя на сутки забанил на серваке за такое, подумал бы на своим поведением 🤣

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/

T7

63

timo-71

23 ноября 2021, 00:05

#2

Dram :

выдавали примерно одинаковое время в РАЗЫ проигрывающее обычному курлу. Так что не так?

2 цикла с

$mrc = curl_multi_exec($multi, $active);

Ну вот такая, конструкция дает 6 сек

    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-7-rasprodazha',
    'https://www.shtory-star.ru/catalogue/rasprodaga/korotkij-tyul-dlya-kuhni-kt-9-rasprodazha',
);

$mh = curl_multi_init();
foreach($urls as $k => $v){
  $ch[$k] = curl_init($v);
  curl_setopt($ch[$k], CURLOPT_RETURNTRANSFER, true);
  curl_setopt($ch[$k], CURLOPT_SSL_VERIFYPEER, false);
  curl_setopt($ch[$k], CURLOPT_SSL_VERIFYHOST, false); 
  curl_multi_add_handle($mh, $ch[$k]);
}

do {
  curl_multi_exec($mh, $running);
  curl_multi_select($mh);
} while ($running > 0);

$dom = new domDocument;
libxml_use_internal_errors(true);


foreach(array_keys($ch) as $k){
  $status =  curl_getinfo($ch[$k], CURLINFO_HTTP_CODE);
  $url = curl_getinfo($ch[$k], CURLINFO_EFFECTIVE_URL);
  if($status==200) {
    $html = curl_multi_getcontent($ch[$k]);
    $dom->loadHTML($html);
    libxml_clear_errors();

    
    echo "\nTitle for: ", 
            $url, ': ',
            $dom->getElementsByTagName('title')->item(0)->textContent;
            
    echo "\n=========\n";
  } else {
    echo "\n======Fail url: ", $url, "\n";
  }
  
  curl_multi_remove_handle($mh, $ch[$k]);
}


curl_multi_close($mh);

echo "\nTime:", (microtime(1)-$t), "\n";

1

D

1104

Dram

23 ноября 2021, 05:29

#3

Оказывается проблемы были только на опенсервере - как только протестировал на ВПС, все заработало быстро.

1741

LEOnidUKG

23 ноября 2021, 07:27

#4

Dram #:
Оказывается проблемы были только на опенсервере - как только протестировал на ВПС, все заработало быстро.

Это уже у твоего провайдера стоит защита от ДДОСа с твоей стороны.

1

Что такое Power BI и зачем это нужно бизнесу

Google: E-E-A-T не является фактором ранжирования