Релиз Link-Spider_Multithread

Софт для парсинга гугла в промышленных масшатабах. имеет встроенный мощный проксичекер, работающий в заданное число потоков.

Парсер ложится во весь канал, таким образом скорость парсинга ограничена лишь его шириной.

Ориентироваочная скорость в расчете на 1мегабит канала:

поиск и валидация прокси: 2минуты->200 живых прокси.

скорость парсинла ссылок 2 минуты->2-3k ссылок.

Тест был проведен при нстройках:

35 потоков на чек ответа проксилистов (на предмет неотдачи страницы, такие листы высеиваются и в дальнейшем в поиске не участвуют, что ускореят парсинг примерно на 30% со следующих проходов).

30 потоков на чек живости прокси. Больше ставить не рекомендую- фактически это ддос сервера на котором стоит скрипт отдачи реферера.

30потоков на парсинг гугла. На 1мегабите оптимально будет даже 22-25, тк иначе будет высокий процент страниц которые отдались частично а не полностью.

Скрипт имеет постановку неспарешнных страниц в очередь, благодаря этому информация максимально полная, но я умышленно избавил его проверки на отдачу 100% страницы, поэтому будет некоторый процент неполных страниц но этот вариант компромисный для критериев качество-скорость.

Настройки в ini-файле.

Сист требования не менее 2Ггц проц, 1мб канал, 756 озу, меньше думаю не потянет.

Требует zend и curl.

Цена 45$. Если у вас есть посещаемый сеоблог, с которого могут прийти покупатели и вы готовы дать ананонс, можем обговорить персональные условия.

Если будет востребован- добавлю аол, яху итд.

Для связи личка/айсикю.

374$$$o22$$$284