Скрипт массовой многопоточной прокси пинговалки

Vladimir-AWM
На сайте с 07.02.2010
Offline
50
2815

Доброго времени суток. Хочу представить свой скрипт массовой многопоточной прокси пинговалки.

Давно задумывался как реагируют пинг сервисы (особенно сервисы ПС Яндекса и Гугла) когда им шлют подряд много адресов с одного IP. Я может и параноик, но думаю лучше перестраховаться, и пинговать через прокси (так же я поступаю при добавление в AddURL ПС).

Решил поискать готовые решения, которые работают через прокси, но найти не смог, вот и появилась идея написать самому такой многофункциональный скрипт.

Работа со скриптом (в настройке не нуждается):


(зеркало)
  • Список адресов для пинга, - без комментариев
  • Список пинг сервисов, - без комментариев
  • HTTP прокси, - вводятся в формате IP:Port или Login:Password@IP:Port, если требует авторизации, каждая новая прокси с новой строки. Выборка скриптом прокси для каждого сайта (не потока) происходит рандомно (случайно).
  • Потоки, - количество потоков
  • Таймаут, - таймаут для 1 потока.
  • Парсить Title, - при указании парсить Title, скрипт пройдет по всем сайтам и соберет значения между тегами title (<title></title>), если значение не будет получено, в качестве него будет указан URL сайта. Если же флажок не установлен, то в качестве Title используется URL адрес который будет пинговаться. Сбор Title происходит так же многопоточно и без использования проксей (для укорения работы).
Результат работы скрипта можно смотреть в реальном времени. После выполнения, отчет сохраняется в файлах (формат - URL|Ping Server|Title):


(зеркало)
  • ping-good.txt - список удачно пропингованных адресов
  • ping-bad.txt - список не удачно пропингованных адресов
  • ping-bad-connect.txt - список не удачно пропингованных адресов в связи с плохой проксей или проблемами со связью

Предупреждение: на большем количестве хостингов стоит лимит на время выполнения скриптов в 30 секунд. В моем скрипте хоть и установлено set_time_limit(0);, которое должно убирать этот лимит, но эту директиву понимают не все хостинги. Если ваш хостинг ее не понимает, то скрипт просто не успеет выполниться при задании большого количества сайтов для пинга, пинг сервисов, либо же из-за некачественных проксей. По этому желательно использовать скрипт на локальном веб сервере.

Поддержка: Помощь, при возникновении каких-либо проблем или вопросов окажу бесплатно. Обо всех багах или предложениях, пишем в топике.

Большая просьба: не перепродавать (был уже такой опыт со скриптом парсинга свободных доменов ЖЖ с ТИЦем)! Уважайте труд и время других людей.

Стоимость: цена скрипта составляет 5 WMZ или 150 WMR. За покупкой обращаться в ЛС или асю.

ЖЖ Ферма (http://goo.gl/GSN1es), Твиттер Групп (http://goo.gl/z4dP6J), Многопоточная пинговалка (http://goo.gl/7y40HR), Магазин аккаунтов (http://goo.gl/Wqv19X), Индивидуальные прокси (http://goo.gl/3Njiyj).
SneJin
На сайте с 22.05.2009
Offline
57
#1

Прикупил скрипт, тестил как в один поток без проксей, так и в 5 с оными(+авторизация), скрипт отработал на 5+, высокая скорость работы! автору спасибо!и отдельно за парсинг тайтлов =) я доволен покупкой.

Vladimir-AWM
На сайте с 07.02.2010
Offline
50
#2

Добавил после выполнения скрипта ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ".

Vladimir-AWM
На сайте с 07.02.2010
Offline
50
#3

Добавил в скрипт грабер и проксичекер (скрин главной, скрин работы).

Для проксичекра отдельно выбирается таймаут, т.е. с хорошим инетом можно ставить 5 сек. Проверка идет путем открытия страницы ya.ru.

Все прокси перед парсингом и проверкой (если стоит галочка "Парсить Proxy:") удаляются из базы и сохраняются свежие валидные напарсенные.

В связи с эти нововведением, стоимость этого скрипта возрастает до 8$ или 240 рублей (кто купил скрипт ранее, вышлю обновление бесплатно). Старая версия скрипта остается по той же стоимости.

Vladimir-AWM
На сайте с 07.02.2010
Offline
50
#4

Очередное обновление (скриншот). Ранее скрипт смотрел ответ от сервера, если он 200, то пинг считался успешным. После проверки некоторых ответов от различных пинг сервисов, я обнаружил несколько различных ответов:

1 - ответ от сервера 200, но в теле документа ответа в виде xml нет (да и вообще ответа никакого нет, просто пусто), - такие ответы от серверов теперь сохраняются в файле ping-no-answer.txt, т.е. статус не понятен.

2 - ответ от сервера 200, но пинг не принят по какой-либо причине, считается плохим.

Сейчас после пинга, все ответы от сервисов выводятся на экран, т.е. можно более четко определять прошел пинг или нет (хороший ответ - 200 - Thanks for the ping). И еще скажу что скрипт определяет ответы по установленному формату (weblogs.com/api.html), котрого некоторые пинг сервисы не хотят придерживаться.

Все купившим ранее скрипт выслал обновление.

Vladimir-AWM
На сайте с 07.02.2010
Offline
50
#5

Сегодня был проведен тест скрипта мной, и еще одним человеком (один из покупателей скрипта). После пинга по ~180 пинг сервисам (164 из которых гугловских), боты Гугла и Яху пришли в течении 5-10 минут. По идеи это та же самая пинговалка что и сервис letusindex. но со своими плюсами и минусами.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий