Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 18.06.2019, 15:33   #1
Академик
 
Регистрация: 28.06.2008
Сообщений: 7,003
Репутация: 391626

По умолчанию Очистка прокси списка PHP

Паршу сайт через прокси
Цитата:
$a = file('/var/www/proxy.txt');
curl_setopt($curl, CURLOPT_PROXY, $a[array_rand($a)]);
Ну и как бы их не чистить они быстро умирают или сайт их блокирует.
Подскажите как на пхп можно удалять строку с IP прокси если он дал не 200 ответ?
Dram вне форума   Ответить с цитированием

Реклама
Старый 18.06.2019, 15:56   #2
~AL~
Аспирант
 
Регистрация: 27.06.2009
Сообщений: 188
Репутация: 99914

По умолчанию Re: Очистка прокси списка PHP

if(curl_getinfo($curl, CURLINFO_HTTP_CODE) !== '200' || curl_exec($curl) === false)
~AL~ вне форума   Ответить с цитированием
Сказали спасибо:
Старый 18.06.2019, 16:42   #3
LEOnidUKG
『 Работаем 』
 
Аватар для LEOnidUKG
 
Регистрация: 25.11.2006
Адрес: Интернет
Сообщений: 22,679
Репутация: 1984137
Отправить сообщение для LEOnidUKG с помощью ICQ

По умолчанию Re: Очистка прокси списка PHP

Цитата:
Сообщение от ~AL~ Посмотреть сообщение
if(curl_getinfo($curl, CURLINFO_HTTP_CODE) !== '200' || curl_exec($curl) === false)
Вот только беда в том, что ответ может быть 200 и даже быть ответ, а вот данных для работы нет
LEOnidUKG вне форума   Ответить с цитированием
Старый 18.06.2019, 17:07   #4
_SP_
Академик
 
Регистрация: 24.03.2008
Адрес: MSK
Сообщений: 3,680
Репутация: 363192

По умолчанию Re: Очистка прокси списка PHP

Ну это не беда, валидность результата можно и нужно проверять...
С изображениями хуже, но по-моему я что-то привинчивал и для них.
_SP_ вне форума   Ответить с цитированием
Старый 18.06.2019, 19:42   #5
Samail
Академик
 
Аватар для Samail
 
Регистрация: 10.05.2007
Сообщений: 2,999
Репутация: 315412

По умолчанию Re: Очистка прокси списка PHP

Цитата:
Сообщение от Dram Посмотреть сообщение
array_rand
Зачем выбирать случайный прокси, начинай прямо с первого не ответил сервер в течении n секунд или ответил но в ответе нет нужных данных убрал его из массива (или запомнил индекс) и пошел к следующему. Как наткнулся на быстрый прокси парсь через него сколько получится.

Последний раз редактировалось Samail; 18.06.2019 в 19:53..
Samail на форуме   Ответить с цитированием
Сказали спасибо:
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны