Проверка PageRank

Windows Server 2008 R2 Std, Intel Core 2 Duo E7400 @ 2.8Ghz, 4 гигабайта оперативки, гигабитный интернет, четыре потока, 5000 соединений.

Видео: http://youtu.be/U6nLR6JVviY

UPD: 3000-5000 одновременных потоков довольно проблематично запустить в рамках одного софта, если не сказать, что вообще невозможно. Уже после 1500 потоков у 90% программ начнутся проблемы из-за резервирования порядка одного мегабайта стека на каждый поток.

Актуальный антибан таймаут 800-900мс

немного не в тему но может кто знает когда в последний раз был апдейт PR?

http://seobudget.ru/updates/

То есть, дело не в количестве соединений, количестве проверяемых адресов, а во временных границах, я верно понимаю?

А если допустить, что можно точно определить, когда начинается бан, предугадать его и сделать некоторый таймаут?

Дело в том, что в моём случае идёт работа с БД и записью статуса, поэтому, хоть распарралеливание и даёт какой-то толк, но разницы нет, в 8 потоков я проверяю или в 200 - результат по времени один и тот же, ибо в моей реализации основной поток ждёт готовности всех потоков и уже после, сам основной поток пишет данные в БД. База весит порядка 5 Гигов и выборка формируется из довольно сложного запроса. Теоретически, можно каждый раз делать полную выборку из всей БД, но относительно эффективно пока было работать с записью последнего проверенного и записанного айдишника. При полной выборке по все БД, сама выборка длится порядка 15 минут. Машинка у меня слабенькая - нетбук Asus EEE PC 1000H: Intel Atom N720 1,60 GHz / 1 Gb RAM / вендора и скорость харда не знаю.

А есть пример сообщения о бане и примерное время ожидания до разбана?

Мощно! Видео не резаное, я так понимаю? В таком случае, могу только с уважением позавидовать.

Спасибо! А можно все факторы бана и разбана привести, пожалуйста. Бан наступает только по прошествии определённого времени или зависит от количественных показателей?

Антибан таймаут имеется в виду между проверкой каждого урла или когда схлопотал бан, достаточно паузы на секунду?

По моему опыту одна конкретная айпи гугла (уверен, что за ней стоит много серверов) смотрит количество запросов клиента за одну минуту, раньше минуты 100% не забанят. Если забанили, то информация о бане в течение нескольких секунд распозается по остальным айпи гугла и дальше уже везде выдаёт 403 ошибку. Если мои мысли относительно схемы работы правильные, то единственный способ много проверить - сделать очень много соединений до разных айпи гугла, а потом в течение некоторого времени выполнить максимально возможное количество запросов. Если проверять надо мало, но без бана, то использовать задержки.

Ну, как я уже говорил, если речь про скорость, то тут только один вариант - сперва подготовить все данные, вплоть до составления готовых хттп-запросов, а потом всё разом быстро проверить. Если надо, чтобы не забанили, то просто большие задержки.

У меня тоже такой ноут, винт там основной тормоз. Потом идёт проц :)

403 ошибка http, насколько я помню. Время - от нескольких часов (при условии очень массовой проверки) до перманентного бана айпи при сиськамасиськом нарушении безобразий.

Нет, видео не редактировалось, но оно уже основательно устарело, после этого было много новых рекордов в том числе и по смежным темам.

800-900 мс интервал между запосами с одного IP