IPv6 и парсинг

Проблемы могут быть в случае, когда сайт работает только на IPv4 и не имеет IPv6-адреса. IPv6 распространяются не так быстро, как хотелось бы.

Ilya74, а как можно проверить наличие IPv6 у ресурса к которому я обращаюсь?

Как вариант попинговать его через протокол IPv6.

ping -6 в Windows, ping6 в Linux.

Только имейте ввиду, что это будет работать только с компьютеров, имеющих IPv6-подключение.

Попробовал. Подопытный хост whois.iana.org

Ответ приходит.

Получается я смогу парсить whois.iana.org со скоростью 1 миллион запросов в секунду?(ну или сколько там может выдержать их сервак(и)).

У меня провайдер ростелеком. Сейчас проверил через онлайн чекер http://test-ipv6.com/

Your DNS server (possibly run by your ISP) appears to have IPv6 Internet access.

Вроде как я могу работать с IPv6.

Вопрос ещё в том, хватит ли Вашего сервера, чтобы сделать миллион запросов в секунду :)

Предположим, что 1 запрос = 1 Кб (а на деле уверен что больше), миллион запросов это ~8 гигабит, то есть Вам нужен будет порт пропускной способностью около 10 гигабит, чтобы сделать столько одновременных подключений к внешнему ресурсу.

Сейчас практически везде IPv6 за дарма дают.

Активно пользуемся и афишируем это дело, проблем ни каких нет. Мы на 90% используем IPv6, даже во внутренних задачах, IPv4 в большей части для клиентов. Разве что некие сложности в совместимости с некотором ПО и файрволами.

С миллионом я конечно загнул.

Пусть будет 1000 или 10000 запросов в секунду. Это уже ведь вполне реальные цифры.

Взять 1000 запросов в секунду, так это 86 миллионов результатов за сутки.

Это же просто бомба!

Проблем-то нет, только вот домашние провайдеры, да и некоторые ДЦ, упорно не спешат внедрять IPv6. В России есть ещё большое количество домашних сетей, которые не дружат с IPv6 вообще и это печально.

А что все сервера whois IPv6 Capable?

забанят сеть и все :)