проблема с CURL

neoks · 2012-08-22T17:46:34.0000000Z

Здравствуйте, стоит скрипт на php, раз в час нужен тяжёлый запрос для сбора статистики и при этом делается примерно 100curl запросов за секунду на пару секунд, но в это время сервер вылетает и выдает 502 обрывая все запросы. Уже проверил все и это на все 100% curl, так как при работе php без curl запросов сервер держит 4000 конекта в секунду на обычной даже DLE, а вот ставлю один файл просто с содержимым: <? $options = curl_init(); curl_setopt($options,CURLOPT_URL,'http://sait.ru'); curl_setopt($options,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.3) Gecko/2008092417 Firefox/4.0.0'); curl_setopt($options,CURLOPT_TIMEOUT,60);// максимальное время выполнения операции в секундах curl_setopt($options,CURLOPT_AUTOREFERER,1);// автоматически ставить REFERER curl_setopt($options,CURLOPT_SSL_VERIFYPEER,0);// отключить подстановку сертификатов curl_setopt($options,CURLOPT_SSL_VERIFYHOST,0);// отключение проверки ssl хоста curl_setopt($options,CURLOPT_FOLLOWLOCATION,1);// отключение проверки ssl хоста curl_setopt($options,CURLOPT_HEADER,0);// при запросе возвращать заголовок сервера (header) curl_setopt($options,CURLOPT_RETURNTRANSFER,1);// возвращать результат в переменную $data = @curl_exec($options);// выполняем запрос с подавлением ошибокs echo $data; ?> и при 70 соединениях в секунду вылетает 502, хотя процессор при этом загружен на 1% где можно настроить количество конектов в секунду для curl ? и как это лечить ? :)

DV

644

DenisVS

23 августа 2012, 05:09

#11

Не так. Ошибка 502 говорит о том, что дохнет бакэнд. И да, это связано с Curl.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )

[Удален]

23 августа 2012, 05:48

#12

Сделайте в одном скрипте паралельную загрузку страниц мультикурлом, и в одном GET или POST запросе передавайте что нужно скачать.

F

28

Frostpa

24 августа 2012, 15:57

#13

У меня при тестах ab , связка nginx+spawn-fcgi умирает вне зависимости от curl-a

Попробуйте поставить php-fpm

M

278

myhand

24 августа 2012, 16:11

#14

neoks:
А как исправить ? просто обращение к обычному DLE в 4000 запросов в секунду держит без ошибки 502, процессор нагружен на 80-90% , все как положено.

Видимо, дело в ограничениях на бакенде. Сколько у вас там процессов php может работать одновременно, к примеру?

Вот считайте - каждый запрос к страничке с curl-скриптом дает еще одно обращение к сайту (т.е. запросов получается в два раза больше, как минимум). И первый не завершится, покуда курл засасывает себе ответ.

Кстати, "статический html"-то хоть не PHP у вас обрабатывает? ;)

neoks:
Взял первый попавшийся пример curl запроса с гугла для проверки запросов, данным скриптом не пользуюсь, вывел для примера.

Вы не подумали, что результаты для разных опций могут быть разными? Хотя в случае данной опции - со статическим html это должно быть некритично.

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().

Как Google принимает решение Google: почему rel=canonical может Джон Мюллер: не зацикливайтесь

Маркетинг для шоколадной фабрики. На 34% выше средний чек

Вышел новый Яндекс Браузер с YandexGPT и YandexART