IPv6 и парсинг

Дык он и ipv4 может быть выделенный.

Учитывая скорость распространения интернета, а также глубину его проникновения в повседневную жизнь(уже выпускают и холодильники с доступом в интернет от LG, на очереди стиралки и прочие) то на всех IPv4 не хватит.

Непонятно, зачем их так разбазаривают. Хотят, видимо, чтобы и они рано или поздно стали заканчиваться.

---------- Добавлено 19.03.2015 в 00:01 ----------

Это если у "них" будет соответствующий софт и понимание ситуации.

Это уже много лет говорят - но пока как-то хватает.

Вы видимо не совсем понимаете принципы, whois сервер есть даже у нас, мы через него отдаем информацию об объектах которые принадлежат нам, при этом ARIN ссылается на наш whois сервер когда запросы относительно наших объектов попадают к ним, по этому лимиты моего whois сервера это моя личная информация и настройка, сколько хочу столько и ставлю, по этому конечно же никакой общей информации на эту тему быть не может, кто-то считает что 5 запросов в час с ИП это нормально, а кто-то считает что 1000 в день это хорошо, кому-то 10.000 в час не проблема.... Но надо четко понимать одну штуку, эти лимиты ЕСТЬ, ни о каких миллионах запросов в секунды никакой речи не будет никогда и я полагаю ни где, в лучшем случае вы моментально попадете в файрвол по кол-ву коннектов, тут до Whois ограничений может и не дойти даже :)

---------- Добавлено 19.03.2015 в 07:01 ----------

Да что вы говорите :D Конечно же не хватит :)

---------- Добавлено 19.03.2015 в 07:03 ----------

Я думаю что даже если их будут раздавать такими темпами, мы с вами не застанем их окончание :)

Ну да, у регистратора который обслуживает 1.000.000 доменов не будет софта который луснет парсер, насмешили :) 🍿

---------- Добавлено 19.03.2015 в 07:05 ----------

Не совсем так... точнее конечно же хватает, но countdown никто не отменял, пройдет еще годик, два, RIR вообще иссякнут и все.... я уже писал, что в ARIN уже реализован механизм посредством которого можно объявить нужду в IP адресах , а так же показать возможность дать эти самые адреса, т.е началась балалайка (при чем давненько) в которой я могу свои адреса дать кому-то поюзать .... если у меня они в избытке :) Появление таких механизмов мне лично прямо говорит о том, что ARIN старается как можно меньше выдавать IPv4 согласно штатного полиси. Например около года назад, я пытался получить под новую компанию блок размером /20, отказали, так как новые компании должны сперва получить от LIR адреса и грамотно их использовать длительное время.

Гугл банит сразу /64 :)

Можно получить много ipv6 tunnel, и парсить через них - но это для особо упорных.

У них софт из воздуха берется?

Конечно, они смогут его написать. Но ради вашей парсилки явно не станут заморачиваться.

Вы видимо не осознали мой сарказм, подобные алгоритмы для выявления парсилок >> УЖЕ ОЧЕНЬ ДАВНО << есть у каждого регистратора с публичным whois к которому идут массы обращений... Кстати особого софта то и не надо... ;)) масса штатных системных демонов делают это :)

🤪

Пытаются ускорить процесс внедрения, но даже халява в данном случае не дает желаемого эффекта к сожалению.

Проблема парсеров как и брутфорсеров заключается в том, что люди желают сделать 1.000.000 запросов в секунду, наивно полагая, что количество запросов регулируется только ихними серверами и количеством адресов :))) Основной принцип "приостановить" перебор, что бы парсящей стороне было не выгодно.... собственно все... По этому парсеры должны работать от обратного, они не должны делать 1.000.000 запросов с 1го ИП, они должны делать по одному запросу с 1.000.000 ИП :) Только тогда будет достигнут необходимый результат....

Предположим , что человек покупает сервер + какую-то сеть для парсинга, тратит на это скажем 500$ в месяц, при этом он пытается парсить один whois сервер и ессесно рано или поздно его забанят. Я скажу откровенно что никогда парсингом доменов не занимался в том масштабе о котором говорит ТС, т.е 80 миллоннов за сутки мне никогда не было надо, однако были случаи когда надо было обработать несколько тысяч доменов и запросить Whois по каждому... так вот даже на таких объемах я попадал под фильтры.... и это закономерно, по этому я лично не надеялся бы на то, что можно сделать > 1000 запросов к одному WHOIS серверу в сутки с одного ИП........

Исходя из этого, бюджет 500$ гораздо рациональнее потратить на покупку 500 хостингов в 1 доллару, повесить туда php скрипт и написать некий коммуникатор для работы с этими хостами, таким образом за тот же самый бюджет мы получим 500 * 1000 запросов в сутки, а это уже пол миллиона в день, при этом никаких фильтров и банов, ну и как следствие это около 15 миллионов адекватных ответов !!! в месяц... мне вот чисто интересно сколько вообще доменов то зарегистрировано или сколько надо спарсить ? неужели там триллионы какие-то ??? информация по ним меняется не так часто что бы парсить милларды каждый день.... да и это не реально в принципе.... по этому почему бы не работать с адекватными миллионами в месяц? этого мало для ваших целей? Тогда берите за 1000$ в месяц 1000 хостингов и получайте 30 миллионов в месяц ...

---------- Добавлено 19.03.2015 в 20:13 ----------

Да они выдают минимальными блоками адекватными :)))) Меньше выдавать нет смысла :)))

Полученный вами /64 в ipv6 , это много миллиардов адресов, которых хватит на все ваши девайсы которые у вас будут за период всей вашей жизни, а так же же жизни ваших родных и близких :)))

Посмотрите интереса ради общее количество Ipv6 адресов, я честно говоря не знаю как называются числа с таким кол-вом порядков :)