Как распределять нагрузку при веб скраппинге?

M
На сайте с 21.07.2011
Offline
47
447

Скрипт - скраппер начинают банить по IP на сервисах, откуда он извлекает информацию.

Вопрос - какое решение можно использовать для регулярной смены IP? Кажется что нужно что то вроде прокси со сменой IP - кто нибудь пользовался подобными решениями?

siv1987
На сайте с 02.04.2009
Offline
427
#1

Список прокси - забанили один, включаем второй. и так далее.

Solmyr
На сайте с 10.09.2007
Offline
501
#2

А что такое скраппер?

M
На сайте с 21.07.2011
Offline
47
#3
Solmyr:
А что такое скраппер?

скрипт по сбору информации с сайта - web page scrapping

DV
На сайте с 01.05.2010
Offline
644
#4

Граббер, парсер по-русски :)

miraamira, гуглите и читайте, всё уже придумано и отлажено, надо прост глубже "въехать" в тему.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий