Рейтинг сайтов из списка

А если чуть упростить задачу – не 100т., а 40т., и не за раз, а хотя бы по 5т/день.

Ели коряво задачу описал… Вот так можно получить рейтинг фильма:

Запрос: XMLHTTP.Open "GET", "https://rating.kinopoisk.ru/" & KinoID & ".xml", False

Ответ: XMLHTTP.ResponseText = “<kp_rating num_vote="31097">6.317</kp_rating><imdb_rating num_vote="96662">6.6 </imdb_rating>”

В ответе сразу 2 рейтинга для фильма: KP и IMDB

 

Как тоже самое можно сделать для домена?

Запрос:  XMLHTTP.Open "GET", "https://???.com/" & ”rutor.ru”, False

Если нужен рейтинг яндекса по икс - вот https://tools.pixelplus.ru/api/doc/iks

Интересно, но "по промо-цене 99 р. на 30 дней!* — Стоимость далее — 3490 рублей/месяц."

У меня комерцией не пахнет, чисто для себя (обход РКН). Сейчас 99р. я, допустим, заплачу. Но периодически (через месяц-два-полгода),  к вопросу придется возвращаться. Платить еще 3500р?

А есть что то похожее, но без 3,5к.р.?

Есть, самому поднять. Там ещё pr-cy можешь пошевелить. Но ты хочешь инфо вытаскивать, кто тебе его в таком случае будет бесплатно отдавать? И задача у тебя самая коммерческая. 

Конечно коммерция! А как иначе!? Прям сплю и вижу как срубить бабло!

Есть файл с 509 доменов, который не полный, устарел, но лезет в мой роутер:

https://gitlab.com/hadzhioglu/padavan-ng/-/blob/master/trunk/user/nfqws/zapretsh-main/zapret/usr/share/zapret/user.list

Есть файл с 125398 доменов, устарел, но НЕ лезет в мой роутер (8Mb флеш):

https://github.com/IndeecFOX/zapret4rocket/blob/master/extra_strats/TCP/RKN/List.txt

После выкидывания мертвых и пр. доменов, остается порядка 80000 доменов, которые НЕ лезут в мой (и много других роутеров). Среди них масса пустышек, ни кому не нужных, убогих и т.п.

Задача: из 80т. выбрать 1т.: живых, интересных доменов, которые влезут в фильтр большинства роутеров.

Никто не даст парсить свою API бесплатно. Или за доступ к API плати, или сам пиши (покупай) свой софт для пасинга сервисов. В результате окажется, что 3,5 тыс. рублей - это не очень дорого за 100 тыс. доменов.

Обход блокировок – не коммерческие проекты, все исходники бесплатно доступны на гитхабе и пр. Я не разработчик, я просто пытаюсь помочь проекту…

Согласен. А что если упростить задачу. Подергать whois, на предмет регистрации сайта, оставив старые «с историей» сайты?

Whois сервисов несколько сотен (https://www.nirsoft.net/whois_servers_list.html), кто из них бесплатен и без лимитов запросов?

вот тут как вариант foxwhois.com/free/download

Можно и такое пробовать организовать. Но для парсинга в любом случае нужен будет софт, прокси, плюс капчу могут заставить гадать. Нужно садиться и считать, что выгоднее - затраты на парсинг или покупка доступа к API. Но что-то мне подсказывает, что затраты будут примерно одинаковые.

Увы, free сканит только ru, su, com