Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 23.12.2010, 13:02   #1
Студент
 
Регистрация: 28.10.2009
Сообщений: 48
Репутация: -809

По умолчанию Индексация рунета

Всем привет.

Есть задачка и не знаю с чего начать.

Допустим, нужно занести все доменные имена рунета и хтмл код главных страниц в бд.

Вопрос заключается как мне достать все доменные имена?

По reverse dns записям сразу не проходит, потому что не всегда везде прописаны обратные записи (напр, виртуальный хостинг на домашних компах).

Неужели прийдется использовать crawler и сканировать все найденные url?
Может есть другие способы?
dima_tr вне форума   Ответить с цитированием

Реклама
Старый 23.12.2010, 13:16   #2
netwind
Академик
 
Регистрация: 06.05.2007
Сообщений: 6,034
Репутация: 500997

По умолчанию Ответ: Индексация рунета

dima_tr, купить яндекс.
netwind вне форума   Ответить с цитированием
Старый 23.12.2010, 13:26   #3
[umka]
Guru-Editor
 
Аватар для [umka]
 
Регистрация: 25.05.2008
Сообщений: 6,183
Репутация: 799008

По умолчанию Ответ: Индексация рунета

https://partner.r01.ru/ru_domains.gz
__________________
Лог в помощь!
[umka] вне форума   Ответить с цитированием
Старый 26.12.2010, 19:36   #4
Orangesoda
Аспирант
 
Аватар для Orangesoda
 
Регистрация: 22.08.2010
Сообщений: 162
Репутация: 3293

По умолчанию Ответ: Индексация рунета

dima_tr, уточни тебя интересуют сайты в зоне ru или русскоязычные сайты Интернета?
Orangesoda вне форума   Ответить с цитированием
Старый 27.12.2010, 01:00   #5
cyber2
Профессор
 
Регистрация: 14.07.2009
Сообщений: 689
Репутация: 10618
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Индексация рунета

dima_tr, купить рамблер.

Цитата:
По reverse dns записям сразу не проходит, потому что не всегда везде прописаны обратные записи (напр, виртуальный хостинг на домашних компах).
оригинально, причем тут рднс.

в интернете вообщем видел базу ру доменов.
cyber2 вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны