Программная проверка прокси

12
A
На сайте с 21.07.2010
Offline
10
#11
Hekcfy:
arbuzzz, а в чем проблема запихнуть в файл вселенскую кучу бесплатных прокси, через курл грузить нужную страничку каждый раз используя новый прокси из списка. Те что отдали заголовок отличный от 200 или не тот контент или медленно - удалять из массива.

А саму выборку поставить на цикл до последнего живого прокси.

Скрипт должен работать автоматически и, соотвественно, я не хочу принимать в участия в его работе даже в виде подсовывания ему новых списков проксей. Посему мне наверное проще заплатить и забыть о поиске.

[Удален]
#12
arbuzzz:
Скрипт должен работать автоматически и, соответственно, я не хочу принимать в участия в его работе даже в виде подсовывания ему новых списков проксей. Посему мне наверное проще заплатить и забыть о поиске.

окей, можно продолжить мою логику, написав модуль автоматического парсинга списков прокси с разных сайтов. Все что вам нужно будет сделать - это единожды составить список источников прокси.

К тому же оплаченные прокси еще не гарантия их постоянной и стабильной работы. Ибо при большом количестве запросов с одного прокси он успешно уйдет в бан.

В прочем, дело ваше. Описанная мной схема применяется лично и довольно успешно.

A
На сайте с 21.07.2010
Offline
10
#13
Hekcfy:
окей, можно продолжить мою логику, написав модуль автоматического парсинга списков прокси с разных сайтов. Все что вам нужно будет сделать - это единожды составить список источников прокси.

К тому же оплаченные прокси еще не гарантия их постоянной и стабильной работы. Ибо при большом количестве запросов с одного прокси он успешно уйдет в бан.

В прочем, дело ваше. Описанная мной схема применяется лично и довольно успешно.

Да нет, я не спорю. Ваш вариант абсолютно нормальный и работоспособный. Собственно я и думал изначально получать списки проксей таким образом. Просто у меня есть средства, что бы покупать готовые списки (в смысле не из своего кармана). При прочих равных, мне кажется, что покупные прокси будут палиться не с такой скоростью, как те, что не находятся в общем доступе. Ну и как плюс - не надо парсить несколько сайтов, а можно получать сразу готовый список и тем самым уменьшить число телодвижений. Ведь если кому-то припрет сментить дизайн на сайте, мне придется садиться и переписывать парсер под изменения.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий