Построение веб-поисковика

nemaga
На сайте с 11.04.2007
Offline
1
608

Здравствуйте

Я студент технического университета и учусь на программиста. Последние время меня очень заинтересовали системы веб-поиска. В данный момент пишу свой авторский веб-поисковик, но информации о том как он работает "изнутри" очень мало. Если кто-то может мне помочь, то я был бы очень рад.

Меня интересует схема работы crawler'ов, spider'ов и indexer'ов. Их связь между собой и какую они используют базу для хранения данных ( MySQL, Berkeley DB etc )

Зарание благодарен

MiRaj
На сайте с 03.07.2006
Offline
509
#1
Муркетолог. 100 пресс-релизов с прямыми ссылками за 150 баксов? Легко! (http://b2blogger.com) Статейный маркетинг - лучшее лекарство от Минусинска! (http://miralinks.ru)
nemaga
На сайте с 11.04.2007
Offline
1
#2

весьма благодарен.

еще один вопрос, как вы считаете, что лучше : использовать готовую БД типа Оракула, мускула и тп или писать свою?

MiRaj
На сайте с 03.07.2006
Offline
509
#3

nemaga, в зависимости от поставленных целей. Может оказаться вам вполне хватит плоской модели, а может придется отказаться от классических реляционных БД.

nemaga
На сайте с 11.04.2007
Offline
1
#4

я хочу построить полноценный веб-поисковик по типу гугля или веб-альты :)

nemaga
На сайте с 11.04.2007
Offline
1
#5

если я возьму за основу БД Oracle. Она сможет выполнять все требования поставленные на нее поисковиком и системой выдачи результатов?

Pike
На сайте с 13.07.2004
Offline
79
#6
nemaga:
если я возьму за основу БД Oracle. Она сможет выполнять все требования поставленные на нее поисковиком и системой выдачи результатов?

Короткий ответ - да. Длинный ответ - нет.

free hosting (http://rahost.com)
nemaga
На сайте с 11.04.2007
Offline
1
#7

объяснитесь пожалуйста :)

nemaga
На сайте с 11.04.2007
Offline
1
#8

вычитал в инете что гугль использует такие бд: Bigtables, Berkeley DB

Bigtables я вообще не знаю что такое. ну а беркли - это ж вроде бы бд для хранения пар ключ-значение. как на нем можно реализовать поисковик?

nemaga
На сайте с 11.04.2007
Offline
1
#9

блин. протупил с вопросом о беркли :)

[Удален]
#10

ТС, молодец, желаю удачи Вам:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий