Форум Сайтостроение Веб-строительство

Очистка прокси списка PHP

D
На сайте с 28.06.2008
Offline
1101
Dram
317

Паршу сайт через прокси

$a = file('/var/www/proxy.txt');
curl_setopt($curl, CURLOPT_PROXY, $a[array_rand($a)]);

Ну и как бы их не чистить они быстро умирают или сайт их блокирует.

Подскажите как на пхп можно удалять строку с IP прокси если он дал не 200 ответ?

owx
На сайте с 27.06.2009
Offline
100
owx
#1

if(curl_getinfo($curl, CURLINFO_HTTP_CODE) !== '200' || curl_exec($curl) === false)

LEOnidUKG
На сайте с 25.11.2006
Offline
1723
LEOnidUKG
#2
~AL~:
if(curl_getinfo($curl, CURLINFO_HTTP_CODE) !== '200' || curl_exec($curl) === false)

Вот только беда в том, что ответ может быть 200 и даже быть ответ, а вот данных для работы нет 🍿

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
_
На сайте с 24.03.2008
Offline
381
_SP_
#3

Ну это не беда, валидность результата можно и нужно проверять...

С изображениями хуже, но по-моему я что-то привинчивал и для них.

Samail
На сайте с 10.05.2007
Offline
361
Samail
#4
Dram:
array_rand

Зачем выбирать случайный прокси, начинай прямо с первого не ответил сервер в течении n секунд или ответил но в ответе нет нужных данных убрал его из массива (или запомнил индекс) и пошел к следующему. Как наткнулся на быстрый прокси парсь через него сколько получится.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий