mlu: Если проверять большими объёмами, равномерно распределяя запросы с одной айпи между несколькими десятками айпи гугла, то банится одновременно на всех айпи примерно через одну минуту. За это время (за одну минуту) можно проверить любое доступное количество доменов, например, 3-5 миллионов, всё ограничивается лишь траффиком. Проверено неоднократно с помощью cp2litepr.
То есть, дело не в количестве соединений, количестве проверяемых адресов, а во временных границах, я верно понимаю?
А если допустить, что можно точно определить, когда начинается бан, предугадать его и сделать некоторый таймаут?
Дело в том, что в моём случае идёт работа с БД и записью статуса, поэтому, хоть распарралеливание и даёт какой-то толк, но разницы нет, в 8 потоков я проверяю или в 200 - результат по времени один и тот же, ибо в моей реализации основной поток ждёт готовности всех потоков и уже после, сам основной поток пишет данные в БД. База весит порядка 5 Гигов и выборка формируется из довольно сложного запроса. Теоретически, можно каждый раз делать полную выборку из всей БД, но относительно эффективно пока было работать с записью последнего проверенного и записанного айдишника. При полной выборке по все БД, сама выборка длится порядка 15 минут. Машинка у меня слабенькая - нетбук Asus EEE PC 1000H: Intel Atom N720 1,60 GHz / 1 Gb RAM / вендора и скорость харда не знаю.
latteo: Утыкался раньше в лимит около 5000 проверок, далее вместо результата выдавалось сообщение о бане.
А есть пример сообщения о бане и примерное время ожидания до разбана?
mlu: Windows Server 2008 R2 Std, Intel Core 2 Duo E7400 @ 2.8Ghz, 4 гигабайта оперативки, гигабитный интернет, четыре потока, 5000 соединений.
UPD: 3000-5000 одновременных потоков довольно проблематично запустить в рамках одного софта, если не сказать, что вообще невозможно. Уже после 1500 потоков у 90% программ начнутся проблемы из-за резервирования порядка одного мегабайта стека на каждый поток.
Мощно! Видео не резаное, я так понимаю? В таком случае, могу только с уважением позавидовать.
valerius: Актуальный антибан таймаут 800-900мс
Спасибо! А можно все факторы бана и разбана привести, пожалуйста. Бан наступает только по прошествии определённого времени или зависит от количественных показателей?
Антибан таймаут имеется в виду между проверкой каждого урла или когда схлопотал бан, достаточно паузы на секунду?
DenisVS: В течении часа около 500 проверял, по-барабану. ТИЦ и ЯК, впрочем, тоже.
Благодарю. Включу тогда свои 59 млн. Если всё пройдёт гладко и если интересно форумчанам - могу отписаться о результатах (есть лимит или нет), мне не жалко.
Proofer: alfamale, так проверь. Запускай проверку и как только остановится меняй меняй ip. Если ип динамический, то перезагружай модем, а если статический, то заюзай прокси.
Так зачем проверять, если ограничений либо нет, либо они есть и кто-то с ними точно сталкивался и может подсказать.
Запускай проверку и как только остановится
У меня в проверке ничего не останавливается, гугл всегда отдаёт страничку, причём, он может ничего не выводить (N/A) как в случае успешной проверки, так и в случае, который я называю подозрительным. Раньше, года 3 назад, я просто между проверками пачками просто подсовывал ему урл своей жжшечки, и он либо точно определял pr=3, либо pr=n/a, и тогда я был уверен, что всё, на сегодня лимит исчерпан.
И всё-таки, кто-нибудь точно уверен в наличие или отсутствии каких-либо ограничений на проверку pr через тулбарный урл?
У Яндекса, например, при проверке через бар 4 миллиона урлов прошло без проблем в 10 потоков.
Спасибо, но у меня свой. Просто иногда есть подозрение, что вот тысячу, например, проверил и всё, дальше не выдаёт ничего. Захожу в обычный гугл - там всё окей, никаких банов, капч и прочего подозрительного или откровенного.
Вот и решил узнать. Причём, что именно творится на сегодняшний день.
У меня 59 000 000 адресов, которые необходимо нонстопом проверить, а я переживаю за неточность данных, которую и проверить-то можно только одним способом: каждый раз, через какой-то промежуток времени проверяя известный показатель для известного сайта/страницы. Но это не выход, особенно когда речь идёт об оптимальном решении. Это избыточно, я считаю, потому и решил перестраховаться - а вдруг кто знает наверняка.
Кстати, на мой вопрос Вы не ответили, к сожалению :)
скорее, направить их необузданную энергию в полезное русло.
Пришел робот, а я его раз — и перенаправил куда-нибудь.
Один фиг, сейчас уже спам по якобы дуфоллоу блогам ничего не дает.
Если заходит ручной спамер — его можно отловить по вышеупомянутой «базе» и тоже что-нибудь полезное заставить сделать. Если в базе его нет — при модерации он туда попадает.
alfalaval: Подтверждаю. Траф просел, страницы и бэки на 2 умножили. Интересно, будет ли какое то объяснение этой платоновской арифметике? сам по себе ап никакой.
А у меня траф не просел. Наоборот, немножко порадовал.
Если проверять большими объёмами, равномерно распределяя запросы с одной айпи между несколькими десятками айпи гугла, то банится одновременно на всех айпи примерно через одну минуту. За это время (за одну минуту) можно проверить любое доступное количество доменов, например, 3-5 миллионов, всё ограничивается лишь траффиком. Проверено неоднократно с помощью cp2litepr.
То есть, дело не в количестве соединений, количестве проверяемых адресов, а во временных границах, я верно понимаю?
А если допустить, что можно точно определить, когда начинается бан, предугадать его и сделать некоторый таймаут?
Дело в том, что в моём случае идёт работа с БД и записью статуса, поэтому, хоть распарралеливание и даёт какой-то толк, но разницы нет, в 8 потоков я проверяю или в 200 - результат по времени один и тот же, ибо в моей реализации основной поток ждёт готовности всех потоков и уже после, сам основной поток пишет данные в БД. База весит порядка 5 Гигов и выборка формируется из довольно сложного запроса. Теоретически, можно каждый раз делать полную выборку из всей БД, но относительно эффективно пока было работать с записью последнего проверенного и записанного айдишника. При полной выборке по все БД, сама выборка длится порядка 15 минут. Машинка у меня слабенькая - нетбук Asus EEE PC 1000H: Intel Atom N720 1,60 GHz / 1 Gb RAM / вендора и скорость харда не знаю.
Утыкался раньше в лимит около 5000 проверок, далее вместо результата выдавалось сообщение о бане.
А есть пример сообщения о бане и примерное время ожидания до разбана?
Windows Server 2008 R2 Std, Intel Core 2 Duo E7400 @ 2.8Ghz, 4 гигабайта оперативки, гигабитный интернет, четыре потока, 5000 соединений.
Видео: http://youtu.be/U6nLR6JVviY
UPD: 3000-5000 одновременных потоков довольно проблематично запустить в рамках одного софта, если не сказать, что вообще невозможно. Уже после 1500 потоков у 90% программ начнутся проблемы из-за резервирования порядка одного мегабайта стека на каждый поток.
Мощно! Видео не резаное, я так понимаю? В таком случае, могу только с уважением позавидовать.
Актуальный антибан таймаут 800-900мс
Спасибо! А можно все факторы бана и разбана привести, пожалуйста. Бан наступает только по прошествии определённого времени или зависит от количественных показателей?
Антибан таймаут имеется в виду между проверкой каждого урла или когда схлопотал бан, достаточно паузы на секунду?
В течении часа около 500 проверял, по-барабану. ТИЦ и ЯК, впрочем, тоже.
Благодарю. Включу тогда свои 59 млн. Если всё пройдёт гладко и если интересно форумчанам - могу отписаться о результатах (есть лимит или нет), мне не жалко.
alfamale, так проверь. Запускай проверку и как только остановится меняй меняй ip. Если ип динамический, то перезагружай модем, а если статический, то заюзай прокси.
Так зачем проверять, если ограничений либо нет, либо они есть и кто-то с ними точно сталкивался и может подсказать.
У меня в проверке ничего не останавливается, гугл всегда отдаёт страничку, причём, он может ничего не выводить (N/A) как в случае успешной проверки, так и в случае, который я называю подозрительным. Раньше, года 3 назад, я просто между проверками пачками просто подсовывал ему урл своей жжшечки, и он либо точно определял pr=3, либо pr=n/a, и тогда я был уверен, что всё, на сегодня лимит исчерпан.
И всё-таки, кто-нибудь точно уверен в наличие или отсутствии каких-либо ограничений на проверку pr через тулбарный урл?
У Яндекса, например, при проверке через бар 4 миллиона урлов прошло без проблем в 10 потоков.
mchecker - пользуюсь несколько лет
Спасибо, но у меня свой. Просто иногда есть подозрение, что вот тысячу, например, проверил и всё, дальше не выдаёт ничего. Захожу в обычный гугл - там всё окей, никаких банов, капч и прочего подозрительного или откровенного.
Вот и решил узнать. Причём, что именно творится на сегодняшний день.
У меня 59 000 000 адресов, которые необходимо нонстопом проверить, а я переживаю за неточность данных, которую и проверить-то можно только одним способом: каждый раз, через какой-то промежуток времени проверяя известный показатель для известного сайта/страницы. Но это не выход, особенно когда речь идёт об оптимальном решении. Это избыточно, я считаю, потому и решил перестраховаться - а вдруг кто знает наверняка.
Кстати, на мой вопрос Вы не ответили, к сожалению :)
Круто. Решили наживаться на спамерах?
скорее, направить их необузданную энергию в полезное русло.
Пришел робот, а я его раз — и перенаправил куда-нибудь.
Один фиг, сейчас уже спам по якобы дуфоллоу блогам ничего не дает.
Если заходит ручной спамер — его можно отловить по вышеупомянутой «базе» и тоже что-нибудь полезное заставить сделать. Если в базе его нет — при модерации он туда попадает.
А ничего, что она уже давно есть?
а где её взять и как подключить к цмс?
а чего ещё делать со спамерами? толку от них нет, им толку тоже практически нет. можно ведь и с пользой и взаимовыгодой разойтись.
а то придумали уже: "проклятие xxi века", "неизлечимая болезнь инета".
капец, это ж столько серверного времени, нагрузок и прочих полезных ресурсов пропадает зря, да ещё и нервирует всех, в том числе и себя.
Баяяян баяяныч...
Мля, ну знал же, что глупости - это обычно коллективноая зараза =)
---------- Добавлено 03.03.2012 в 02:06 ----------
Как можно было родить такую ахинею...
ну это же элементарно! отрубаю мозг - и понеслась.
---------- Добавлено 03.03.2012 в 02:07 ----------
alfamale, а почему у Вас тетенька на аватаре?
в оригинале она ещё и делает неприличный жест (Freddy Got Fingered (2001) - IMDb) =)
ждем правки, скорее всего завтра...
страниц на некоторых сайтах *2, на некоторых урезано - 50%
а вот на счёт урезания - что-то не обратил внимания..
да фиг с ними, пусть будет хотя бы откат.
Подтверждаю. Траф просел, страницы и бэки на 2 умножили. Интересно, будет ли какое то объяснение этой платоновской арифметике? сам по себе ап никакой.
А у меня траф не просел. Наоборот, немножко порадовал.
Муть какая то.. количество беков увеличилось в 2 раза так же как и количество страниц...
Подтверждаю такую херню в ВМ.
Сначала прифигел, подумал, что подфартило так - ан нет!
Ещё раз:
по ВМ количество страниц и бэков показывается в ДВА раза больше, чем должно быть!