То есть, дело не в количестве соединений, количестве проверяемых адресов, а во временных границах, я верно понимаю?
А если допустить, что можно точно определить, когда начинается бан, предугадать его и сделать некоторый таймаут?
Дело в том, что в моём случае идёт работа с БД и записью статуса, поэтому, хоть распарралеливание и даёт какой-то толк, но разницы нет, в 8 потоков я проверяю или в 200 - результат по времени один и тот же, ибо в моей реализации основной поток ждёт готовности всех потоков и уже после, сам основной поток пишет данные в БД. База весит порядка 5 Гигов и выборка формируется из довольно сложного запроса. Теоретически, можно каждый раз делать полную выборку из всей БД, но относительно эффективно пока было работать с записью последнего проверенного и записанного айдишника. При полной выборке по все БД, сама выборка длится порядка 15 минут. Машинка у меня слабенькая - нетбук Asus EEE PC 1000H: Intel Atom N720 1,60 GHz / 1 Gb RAM / вендора и скорость харда не знаю.
А есть пример сообщения о бане и примерное время ожидания до разбана?
Мощно! Видео не резаное, я так понимаю? В таком случае, могу только с уважением позавидовать.
Спасибо! А можно все факторы бана и разбана привести, пожалуйста. Бан наступает только по прошествии определённого времени или зависит от количественных показателей?
Антибан таймаут имеется в виду между проверкой каждого урла или когда схлопотал бан, достаточно паузы на секунду?
Благодарю. Включу тогда свои 59 млн. Если всё пройдёт гладко и если интересно форумчанам - могу отписаться о результатах (есть лимит или нет), мне не жалко.
Так зачем проверять, если ограничений либо нет, либо они есть и кто-то с ними точно сталкивался и может подсказать.
У меня в проверке ничего не останавливается, гугл всегда отдаёт страничку, причём, он может ничего не выводить (N/A) как в случае успешной проверки, так и в случае, который я называю подозрительным. Раньше, года 3 назад, я просто между проверками пачками просто подсовывал ему урл своей жжшечки, и он либо точно определял pr=3, либо pr=n/a, и тогда я был уверен, что всё, на сегодня лимит исчерпан.
И всё-таки, кто-нибудь точно уверен в наличие или отсутствии каких-либо ограничений на проверку pr через тулбарный урл?
У Яндекса, например, при проверке через бар 4 миллиона урлов прошло без проблем в 10 потоков.
Спасибо, но у меня свой. Просто иногда есть подозрение, что вот тысячу, например, проверил и всё, дальше не выдаёт ничего. Захожу в обычный гугл - там всё окей, никаких банов, капч и прочего подозрительного или откровенного.
Вот и решил узнать. Причём, что именно творится на сегодняшний день.
У меня 59 000 000 адресов, которые необходимо нонстопом проверить, а я переживаю за неточность данных, которую и проверить-то можно только одним способом: каждый раз, через какой-то промежуток времени проверяя известный показатель для известного сайта/страницы. Но это не выход, особенно когда речь идёт об оптимальном решении. Это избыточно, я считаю, потому и решил перестраховаться - а вдруг кто знает наверняка.
Кстати, на мой вопрос Вы не ответили, к сожалению :)
скорее, направить их необузданную энергию в полезное русло.
Пришел робот, а я его раз — и перенаправил куда-нибудь.
Один фиг, сейчас уже спам по якобы дуфоллоу блогам ничего не дает.
Если заходит ручной спамер — его можно отловить по вышеупомянутой «базе» и тоже что-нибудь полезное заставить сделать. Если в базе его нет — при модерации он туда попадает.
а где её взять и как подключить к цмс?
а чего ещё делать со спамерами? толку от них нет, им толку тоже практически нет. можно ведь и с пользой и взаимовыгодой разойтись.
а то придумали уже: "проклятие xxi века", "неизлечимая болезнь инета".
капец, это ж столько серверного времени, нагрузок и прочих полезных ресурсов пропадает зря, да ещё и нервирует всех, в том числе и себя.
Мля, ну знал же, что глупости - это обычно коллективноая зараза =)---------- Добавлено 03.03.2012 в 02:06 ----------
ну это же элементарно! отрубаю мозг - и понеслась.---------- Добавлено 03.03.2012 в 02:07 ----------
в оригинале она ещё и делает неприличный жест (Freddy Got Fingered (2001) - IMDb) =)
а вот на счёт урезания - что-то не обратил внимания..
да фиг с ними, пусть будет хотя бы откат.
А у меня траф не просел. Наоборот, немножко порадовал.
Подтверждаю такую херню в ВМ.
Сначала прифигел, подумал, что подфартило так - ан нет!
Ещё раз:
по ВМ количество страниц и бэков показывается в ДВА раза больше, чем должно быть!
