Списки доменов

12
TF-Studio
На сайте с 17.08.2010
Offline
334
5199

Где найти списки всех доменов?

https://partner.r01.ru/zones/ru_domains.gz

вот типо таких архивов, только от других регистраторов и в gltd

конечная задача - получить списки всех (большинства) доменов сущесвтующих

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
T
На сайте с 21.02.2011
Offline
44
#1

Огромное спасибо за рабочую ссылку... Всё её битый/старый вариант попадался, по которому ничего, кроме ошибки, не отдаётся... Теперь парсить, парсить и ещё раз парсить... ;)

А что у них ещё есть из зон? А то мне не видно...

ЗЫ. К вопросу Вашему тоже присоединюсь - кое-что для своих нужд интересно...

A
На сайте с 19.07.2010
Offline
130
#2

https://partner.r01.ru/zones/su_domains.gz
https://partner.r01.ru/zones/rf_domains.gz
http://www.domainresearchtool.com/lists/com.zone.gz
http://www.domainresearchtool.com/lists/org.zone.gz
http://www.domainresearchtool.com/lists/net.zone.gz
http://www.domainresearchtool.com/lists/info.zone.gz
и т.д.
TF-Studio:
конечная задача - получить списки всех (большинства) доменов сущесвтующих

списки-списками, но какая конечная цель? вот в чем вопрос.. :)

.............
S
На сайте с 19.12.2006
Offline
118
#3

А чем такие списки открываются? Файлы не маленькие..

Jaf4
На сайте с 03.08.2009
Offline
804
#4
Sancey:
А чем такие списки открываются? Файлы не маленькие..

а чем вы пробовали открывать? файлы немаленькие.

И что вы вообще собрались делать? Вам же нужно не просто нужно открыть и посмотреть.

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
юни
На сайте с 01.11.2005
Offline
902
#5
admak:
какая конечная цель?

Собрать максимальную статистику по зонам верхнего уровня.

Присоединяюсь к вопросу.

https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS, https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
Jaf4
На сайте с 03.08.2009
Offline
804
#6

ноутпад++ открывает "влет". Ищет чуть дольше.

JD
На сайте с 08.12.2008
Offline
471
#7

Как правило, списки по gTLD не публикуются в открытом доступе, но у некоторых реестров есть программы доступа к файлам зон в research-целях, например https://www.verisign.com/en_US/channel-resources/domain-registry-products/zone-file/index.xhtml

S
На сайте с 19.12.2006
Offline
118
#8
Jaf4:
ноутпад++ открывает "влет". Ищет чуть дольше.

Сначала им же и попробовал. Вот, что выдает:

File open problem

File is too big to be opened by Notepad + +

Jaf4
На сайте с 03.08.2009
Offline
804
#9
Sancey:
File is too big to be opened by Notepad + +

фигасе. А что за файл?

Старый комп, ему лет 8.. i5 750 2.67GHz, 8Gb RAM

Распаковку свежего ru_domains.gz (57 Mb) не могу по времени засечь, быстро открывает. На вскидку где-то секунда или меньше. Если попросить "просмотреть" содержимое архива винраром - открывает где-то секунды 2-3. Распакованный файл 307 Мб. Открывается ноутпад++ где-то пару сек, задержку заметно, т.е. открылось приложение, только потом появляется список.

Последняя строка в файле 5468348 - пустая. Предыдущая

ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ.RU REGTIME-RU 02.10.2009 02.10.2017 02.11.2017 1

Ползунок справа можно взять мышкой и подвигать вверх-вниз, тормозов не замечаю. Плагинов где-то штук 6 стоит. Если надо, могу переписать.

Это в тот момент, когда у меня еще разные приложения открыты. FF где-то с десяток вкладок, Ghrom, скайп, телеграм и т.п.

T
На сайте с 21.02.2011
Offline
44
#10

Формат содержимого наших зон - TSV (Tabulation Separated Values), разновидность csv...

(домен \t регистратор \t дата_регистрации \t дата_окончания_делегирования \t дата_удаления \t делегирован_ли)

Я его самописными утилитами написанными на perl потрошу...

Бурж не смотрел - не интересен...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий