юни,
О каких ip идет речь?
Еще можно просканировать все 4 млрд ipv4 адресов с нужным Host:, но если сервер отвечает только на запросы из сетей cloudflare, это ничего не даст.
Miha Kuzmin (KMY), надежного способа узнать ip сайта за клаудфларе не существует.
И как же?
Тогда пилить что-то свое.
Судя по https://metrics.torproject.org/relayflags.html, тут практически полный список адресов всех экзит-нод, а дальше дело техники.
Он как минимум усложнит парсинг через выходные ноды тора.
Возможно пропустил, но клаудфларе не помогает? Его особо с тора не попарсишь.
Наверное не хочется платить 100к за лид, жадность штука такая.
https://unix.stackexchange.com/questions/280548/curl-doesnt-connect-to-https-while-wget-does-nss-error-12286
Sitealert, curl - это http-клиент, а не сервер.
юни,
Надежный способ - это просканировать все 320к (актуальных на сейчас) или до 800к ip (в архиве) или все ip из подсетей, куда попали ip выше
О каких ip идет речь?
Еще можно просканировать все 4 млрд ipv4 адресов с нужным Host:, но если сервер отвечает только на запросы из сетей cloudflare, это ничего не даст.
Miha Kuzmin (KMY), надежного способа узнать ip сайта за клаудфларе не существует.
Ну во первых это просто.
И как же?
Если вы имеет ввиду использовать CloudFlare, при котором 5 секунд перед входом на сайте будет происходить определение на бота, то это не вариант.
Тогда пилить что-то свое.
Судя по https://metrics.torproject.org/relayflags.html, тут практически полный список адресов всех экзит-нод, а дальше дело техники.
Он поможет от новичков.
Он как минимум усложнит парсинг через выходные ноды тора.
Возможно пропустил, но клаудфларе не помогает? Его особо с тора не попарсишь.
а зачем? услуги согласно договору выполняются, все довольны(?)
Наверное не хочется платить 100к за лид, жадность штука такая.
А поделиться опытом?
https://unix.stackexchange.com/questions/280548/curl-doesnt-connect-to-https-while-wget-does-nss-error-12286
Sitealert, curl - это http-клиент, а не сервер.