Я могу предложить вам услуги балансировки трафика для статических сайтов то, что будет нужно, вовсе не обязательно брать супер мега шустрый сервер с супер скоростными винтами и рейд массивами, можно взять множество дешевых серверов и разделить между ними нагрузку, при этом появляется рад плюсов, во первых, отказоустойчивость, при выходе из строя одного из серверов фермы, ничего не ломается, нагрузка просто расползается на оставшиеся, появляется дублирование\зеркалирование данных, а так же самое приятное, появляется отличная возможность масштабирования вашего проекта, т.е если завтра у вас станет 150 млн. статических страниц либо же появится большее количество посетителей, надо будет добавить пару серверов в ферму и синхронизировать данные.....
Готовы обсудить с вами возможность внедрения, а так же стоимость в личном порядке.
Странно, я предлагаю сервера в Канаде, а вы говорите мне об Украине ....
Я не грубил вам... я в Китае думаю можно взять и дешевле того, что есть у вас в Украине... только причем тут это? Локация играет определяющие вещи в том числе и в ценообразовании на товар. А критика это хорошо, только как бы уместная нужна... а не из серии "воооон смотрите, там на ценнике написано дешевле".
Откуда ценообразование? Ваше желание? или хетзнера перекушали?
Дорого ? или что ? Почему нет желающих и сервера не разбираете?
Давайте обсудим... ☝
Ну, видимо вы считаете что 1.000.000 запросов в секунду с одного ИП это рационально :)
Удачи, что еще сказать :)---------- Добавлено 20.03.2015 в 00:32 ----------
Да ну не смешите, даже у меня в домашнем роутере уже давно ip6tables настроен так как надо, а вы говорите про масштабных регистраторов, там где уже внедрено нативное ipv6 сто процентов используются и фильтры и банилки для ipv6 и все что вы хотите... В общем зачем угадывать, попробуйте, результат сам за себя скажет.---------- Добавлено 20.03.2015 в 02:04 ----------
Ну вот, за пол года не напрягаясь можно собрать по 30 mln в месяц...
При наличии 1000 хостов разных.
Проблема парсеров как и брутфорсеров заключается в том, что люди желают сделать 1.000.000 запросов в секунду, наивно полагая, что количество запросов регулируется только ихними серверами и количеством адресов :))) Основной принцип "приостановить" перебор, что бы парсящей стороне было не выгодно.... собственно все... По этому парсеры должны работать от обратного, они не должны делать 1.000.000 запросов с 1го ИП, они должны делать по одному запросу с 1.000.000 ИП :) Только тогда будет достигнут необходимый результат....
Предположим , что человек покупает сервер + какую-то сеть для парсинга, тратит на это скажем 500$ в месяц, при этом он пытается парсить один whois сервер и ессесно рано или поздно его забанят. Я скажу откровенно что никогда парсингом доменов не занимался в том масштабе о котором говорит ТС, т.е 80 миллоннов за сутки мне никогда не было надо, однако были случаи когда надо было обработать несколько тысяч доменов и запросить Whois по каждому... так вот даже на таких объемах я попадал под фильтры.... и это закономерно, по этому я лично не надеялся бы на то, что можно сделать > 1000 запросов к одному WHOIS серверу в сутки с одного ИП........
Исходя из этого, бюджет 500$ гораздо рациональнее потратить на покупку 500 хостингов в 1 доллару, повесить туда php скрипт и написать некий коммуникатор для работы с этими хостами, таким образом за тот же самый бюджет мы получим 500 * 1000 запросов в сутки, а это уже пол миллиона в день, при этом никаких фильтров и банов, ну и как следствие это около 15 миллионов адекватных ответов !!! в месяц... мне вот чисто интересно сколько вообще доменов то зарегистрировано или сколько надо спарсить ? неужели там триллионы какие-то ??? информация по ним меняется не так часто что бы парсить милларды каждый день.... да и это не реально в принципе.... по этому почему бы не работать с адекватными миллионами в месяц? этого мало для ваших целей? Тогда берите за 1000$ в месяц 1000 хостингов и получайте 30 миллионов в месяц ...---------- Добавлено 19.03.2015 в 20:13 ----------
Да они выдают минимальными блоками адекватными :)))) Меньше выдавать нет смысла :)))
Полученный вами /64 в ipv6 , это много миллиардов адресов, которых хватит на все ваши девайсы которые у вас будут за период всей вашей жизни, а так же же жизни ваших родных и близких :)))
Посмотрите интереса ради общее количество Ipv6 адресов, я честно говоря не знаю как называются числа с таким кол-вом порядков :)
Вы видимо не осознали мой сарказм, подобные алгоритмы для выявления парсилок >> УЖЕ ОЧЕНЬ ДАВНО << есть у каждого регистратора с публичным whois к которому идут массы обращений... Кстати особого софта то и не надо... ;)) масса штатных системных демонов делают это :)
🤪
Вы видимо не совсем понимаете принципы, whois сервер есть даже у нас, мы через него отдаем информацию об объектах которые принадлежат нам, при этом ARIN ссылается на наш whois сервер когда запросы относительно наших объектов попадают к ним, по этому лимиты моего whois сервера это моя личная информация и настройка, сколько хочу столько и ставлю, по этому конечно же никакой общей информации на эту тему быть не может, кто-то считает что 5 запросов в час с ИП это нормально, а кто-то считает что 1000 в день это хорошо, кому-то 10.000 в час не проблема.... Но надо четко понимать одну штуку, эти лимиты ЕСТЬ, ни о каких миллионах запросов в секунды никакой речи не будет никогда и я полагаю ни где, в лучшем случае вы моментально попадете в файрвол по кол-ву коннектов, тут до Whois ограничений может и не дойти даже :)---------- Добавлено 19.03.2015 в 07:01 ----------
Да что вы говорите :D Конечно же не хватит :)---------- Добавлено 19.03.2015 в 07:03 ----------
Я думаю что даже если их будут раздавать такими темпами, мы с вами не застанем их окончание :)
Ну да, у регистратора который обслуживает 1.000.000 доменов не будет софта который луснет парсер, насмешили :) 🍿---------- Добавлено 19.03.2015 в 07:05 ----------
Не совсем так... точнее конечно же хватает, но countdown никто не отменял, пройдет еще годик, два, RIR вообще иссякнут и все.... я уже писал, что в ARIN уже реализован механизм посредством которого можно объявить нужду в IP адресах , а так же показать возможность дать эти самые адреса, т.е началась балалайка (при чем давненько) в которой я могу свои адреса дать кому-то поюзать .... если у меня они в избытке :) Появление таких механизмов мне лично прямо говорит о том, что ARIN старается как можно меньше выдавать IPv4 согласно штатного полиси. Например около года назад, я пытался получить под новую компанию блок размером /20, отказали, так как новые компании должны сперва получить от LIR адреса и грамотно их использовать длительное время.
Вообще, любой whois server тем более масштабный, который обслуживает много объектов в любом случае имеет лимит на количество запросов то ли в час то ли в сутки, это зависит от самого сервера, многие из них официально анонсируют эти данные на своих веб порталах, а некоторые whois сервера прямо отвечают о количестве оставшихся попыток вместе с ответом на запрос объекта. В любом случае ограничение будет, изначально оно будет трактовано самим whois сервером, а дальше может быть и усугублено в случае длительного монотонного потока запросов с одной подсети.
Особой разницы нет, важны цели.
