Индексация рунета

DT
На сайте с 28.10.2009
Offline
34
1300

Всем привет.

Есть задачка и не знаю с чего начать.

Допустим, нужно занести все доменные имена рунета и хтмл код главных страниц в бд.

Вопрос заключается как мне достать все доменные имена?

По reverse dns записям сразу не проходит, потому что не всегда везде прописаны обратные записи (напр, виртуальный хостинг на домашних компах).

Неужели прийдется использовать crawler и сканировать все найденные url?

Может есть другие способы?

N
На сайте с 06.05.2007
Offline
419
#1

dima_tr, купить яндекс.

Кнопка вызова админа ()
[umka]
На сайте с 25.05.2008
Offline
456
#2

https://partner.r01.ru/ru_domains.gz

Лог в помощь!
Orangesoda
На сайте с 22.08.2010
Offline
17
#3

dima_tr, уточни тебя интересуют сайты в зоне ru или русскоязычные сайты Интернета?

C2
На сайте с 14.07.2009
Offline
83
#4

dima_tr, купить рамблер.

По reverse dns записям сразу не проходит, потому что не всегда везде прописаны обратные записи (напр, виртуальный хостинг на домашних компах).

оригинально, причем тут рднс.

в интернете вообщем видел базу ру доменов.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий