Обход ограничения для одного IP

whois.crsnic.net

whois.publicinterestregistry.net

whois.afilias.info

whois.neulevel.biz

overnight, принято.

Ротация ip теперь 2 минуты, а не 15 (+ добавили ещё подсетей).

Товарищи, сегодня или завтра планирую закрыть тестовый доступ - напишите о впечатлениях (главным образом, о выявленных минусах и предположительных путях решения).

Результаты тестирования.

Тест - определение индексации страниц в Yazzle.

Проверка 100 обратных ссылок.

«Аналогичный сервис» - 10 минут

SEOBudget - 5 рублей

Сервис Юни - 40 минут.

Сервис не работает с несколькими потоками. Капча выскакивает уже на 2-х потоках.

Положительный момент который замечен - через «Аналогичный сервис» не определялся Яндекс-каталог, с чем это связано - не знаю, разработчики не ответили, приходилось прогонять 2 раза, один на индексацию, другой на наличие в каталоге (ошибка не связана с галкой «получать верный ТИЦ поддоменов»). Не сложно, но неудобно. У Юни - всё работает.

Связь:

1. Анализ 1360 ссылок через proxy - 49 минут. (без проверки на индексацию)

2. Анализ без proxy - 43 минуты.

Результат, на мой взгляд, отличный.

Резюме - сделать многопоточность и будет всё супер.

Присоединяюсь к ваше сказанному, по идее многопоточность (с распределением потоков по разным ip - насколько это технически возможно, не знаю) была бы не лишней. С другой стороны для моей задачи (сбор ключевиков с вордстата с помощью семонитора почти достаточно было ненышнего функционала ибо упиралось уже в возможности семонитора).

Ещё есть какой-то смутное смутные вопросы насчёт того, как будет быстро работать прокси, когда им начнут активно пользоваться. То есть по идее нужен или какой-то балансировщик нагрузки или/и давать возможность работать со списком проксей на разных серверах по паре логин/пароль или же разным логинам/паролям.

А так-то в целом работой прокси удовлетворён. Данный инструмент будет не лишним в работе :)

Не особо активно гонял, т.к. ТС написал, что не хочет бана. В целом нормально, прокся как прокся. По скорости ответа такая же, как десятки других платных.

Как пользователю - хотелось бы нечто другого. Чтобы можно было запрягать максимальную многопоточность и всё это регулировалось на уровне сервера Юни, т.е. чтобы сервер самостоятельно понимал, что если от юзера долбятся 100 параллельных потоков, то для избежания бана было бы неплохо дать каждому свой проксик, а не пускать все через один, который спустя время меняется на другой. Я в своих скриптах по парсингу Яндекса и т.д. всегда пытаюсь распределить нагрузку равномерно между всеми имеющимися в наличии прокси, и думаю это правильно.

Тестил не очень активно. Вполне нормальный прокси. Добавить многопоточность - будет отличный инструмент

надеюсь, не опоздал с пожеланиями.

задача - еженедельно мониторить позиции ~30 000 запросов по Яндексу и Гуглу (глубина 100, лучше - 200), т.е. запрашивать 60-120К страниц из Яндекса и 30-60К из Гугла. в месяц готов платить порядка 100 баксов. запросы идут через php-скрипт, соответственно, хотелось бы иметь возможность подключаться через curl или какое-то другое стандартное средство php.

Всем спасибо за тест. Получил от хостера лог, бум вникать (накачали вы, товарищи, всего четыре гига трафа, за полторы недели :)). Пожелания записаны, проблемы учтены, теперь на недельку-другую берём паузу.

Если есть ещё идеи, пишите смело. :)

schegloff, известны примерные суммарные объёмы трафика, на подобное количество запросов? "Подключаться через curl" - поясните подробнее, что Вы имеете ввиду?

cURL - библиотека для PHP.

schegloff, нужен "прозрачный" прокси? В любом случае в софте не получится обращаться к ресурсам напрямую. :)