- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день. Нужна помощь. Задача следующая:
есть скрипт, который парсит серп Яши и вордстат. Кол-во запросов может быть достаточно большое, соотвественно нужна работа через прокси. Соотвественно, возникает пара вопросов:
1) Где взять достаточно большое кол-во проксей желательно более менее живых? Есть ли сервисы, где можно автоматом получать списки проксей?
2) Как программно проверять проксю на работоспособность непосредственно перед её использованием в скрипте
Где взять достаточно большое кол-во проксей желательно более менее живых? Есть ли сервисы, где можно автоматом получать списки проксей?
Купить. Много где есть. Посмотрите в гугле.
Как программно проверять проксю на работоспособность непосредственно перед её использованием в скрипте
Просто тестить их.
попробуйте Xrumer.
Просто тестить их.
В этом и вопрос. Каким образом их протестить?
Не подойдет. Нужно что бы работал собственный скрипт.
Для Perl подойдет что-нибудь подобное:
http://search.cpan.org/~zoffix/WWW-ProxyChecker-0.002/lib/WWW/ProxyChecker.pm
Для Perl подойдет что-нибудь подобное:
http://search.cpan.org/~zoffix/WWW-ProxyChecker-0.002/lib/WWW/ProxyChecker.pm
С перлом, к сожалению, не знаком. Есть ли решение для php? Я его и сам готов написать, если пойму, как именно и что надо проверять.
Где взять достаточно большое кол-во проксей желательно более менее живых?
От 50 wmz в месяц. Если интересно, стучите в личку с указанием количества запросов в сутки.
С перлом, к сожалению, не знаком. Есть ли решение для php? Я его и сам готов написать, если пойму, как именно и что надо проверять.
Посмотрите код решения для Perl - если PHP знаете, то смысл происходящего станет ясен.
1) Где взять достаточно большое кол-во проксей желательно более менее живых? Есть ли сервисы, где можно автоматом получать списки проксей?
2) Как программно проверять проксю на работоспособность непосредственно перед её использованием в скрипте
1. Купить, как тут уже и сказали
2. Список проксей ставите на крон, получаете страничку через прокси и смотрите время отклика (тут можно просто получать странички с сервреров гугла - US, RU, CN и т.д., чтобы определить отклик от серверов в разных странах), меняете UPTIME. Так у вас будет список проксей, их аптайм и время отклика, а там уже сами решаете насколько они "живые".
Еще не плохо бы анализировать заголовки, отдаваемые прокси.
1. Купить, как тут уже и сказали
2. Список проксей ставите на крон, получаете страничку через прокси и смотрите время отклика (тут можно просто получать странички с сервреров гугла - US, RU, CN и т.д., чтобы определить отклик от серверов в разных странах), меняете UPTIME. Так у вас будет список проксей, их аптайм и время отклика, а там уже сами решаете насколько они "живые".
Еще не плохо бы анализировать заголовки, отдаваемые прокси.
Спасибо большое за алгоритм :)
arbuzzz, а в чем проблема запихнуть в файл вселенскую кучу бесплатных прокси, через курл грузить нужную страничку каждый раз используя новый прокси из списка. Те что отдали заголовок отличный от 200 или не тот контент или медленно - удалять из массива.
А саму выборку поставить на цикл до последнего живого прокси.