"Можем" - не значит "будем". Нет никакого смысла раскрывать ценную информацию, на получение которой потрачено немало человеко-часов.
Ваша пиринговая сеть не даст никакой уверенности в том, что вы сможете отпарсить "сотню тысяч запросов в любой момент". Яндекс банит IP довольно быстро, если парсить "втупую" - а таких горе-вебмастеров большинство. Именно поэтому все паблик-решения мигом улетают под капчу, а то и под 403. Если же вы поднимите пиринговую сеть - то ее тут же забьют своим "тупым" трафиком вот такие вот вебмастера. Принципиальных отличий от тех же паблик прокси на HMA нет - такая же низкая скорость, такое же количество "тупого" трафика.
Если что - мы парсим порядка 12 млн страниц Яши ежемесячно. Алгоритмы защиты Яши и Гугла исследовали досконально и можем практически доклад по ним сделать. Бизнес-модель описанной вами сети имеет фатальные недостатки, которые я уже описал выше, и поэтому идея нежизнеспособна. К сожалению.
Основной вопрос - стоимость. Чтобы это было для кого-то привлекательно, человек, у которого размещается сабж, должен зарабатывать какие-то ощутимые деньги. Иначе мне смысл гонять у себя непонятное приложение, которое жрет ресурсы? Грубо говоря, дешевле 100 руб. даже школота вряд ли будет это все ставить. Со стороны клиента картина такая - за сопоставимые деньги можно купить 1 прокс, на котором скорость будет намного выше. Смысл для обеих сторон?
Присоединяюсь к вопросу про привязку по IP. Если привязка планируется - даже тестовый акк брать не буду, смысла не вижу.
нагрузка примерно 10 одновременных соединений, загрузка веб-морды поисковиков, дальше пауза секунд 7 в среднем. Как-то так.
У меня как раз тот случай, когда 1) серверы, 2) разные маски, 3) постоянная ротация серверов.
Понимаю, что вы это сделали для предотвращения банального мошенничества со стороны недобросовестных пользователей. Но, к сожалению, эта мера задела и добропорядочных пользователей.---------- Добавлено 25.08.2013 в 14:55 ----------Есть еще способ, в моем случае подошел бы. К примеру, раз в 10 минут нужно стучаться с определенного IP к вам на определенный УРЛ, забирать какой-то приватный сгенерированный ключ (он естественно меняется каждый раз). Этот IP должен быть один для каждого аккаунта, ну или маска. Это я могу сделать, поднять статический сервер для этих целей не проблема. Далее, любой сервер, который стучится к вам по определенному аккаунту, должен этот ключ использовать как пароль - в противном случае reject. Те, кто берут в складчину, вряд ли будут заморачиваться и делать какой-то централизованный сервер для забора ключа и расшаривания его между всей бандой.---------- Добавлено 25.08.2013 в 15:00 ----------Кстати, скорость работы ваших прокси явно выросла - хоть что-то порадовало =) видимо много кто в складчину юзал.
Что жесткую привязку по IP сделали - не очень обрадовало. Вы исходите из предположения, что люди руками заходят к вам на сайт раз в день, скачивают список прокси и засовывают его в какой-нибудь десктопный софт. Однако у меня другой use-case, и да - он не связан со складчиной и т.п. ерундой (мне банально финансово выгоднее отдать 30 баксов в месяц, чем тратить несколько часов на поиск "складчиков").
Прокси неплохие и альтернатив пока не вижу, но будем искать другие варианты.
многие сервисы просто показывают исходящие со страницы - это и так легко определить, скачав одну страницу любым однострочным скриптом. А как найти все ссылки со всего сайта? естественно, вариант "выкачать весь сайт целиком" отбрасываем, т.к. сайт с миллионом страниц замучаешься выкачивать
Дааа, а я уже ждал, когда ж появится биржа лимитов =) Не потому, что пользоваться буду, а потому, что слишком явно видно новую нишу. С другой стороны, много там скорее всего никто не заработает, слишком мелкие обороты.
По-моему, уклон на старые пузатые сайты и социалки
