создание поискового робота

S
На сайте с 20.09.2002
Offline
0
4919

опишите, пожалуйста, в кратце архитектуру поискового робота

1. алгоритм навигации по сети

2. структура БД для занесения информации об индексируемых страницах

3. методы синтаксического разбора и выделения ключевых терминов

заранее благодарен.

K
На сайте с 31.07.2002
Offline
7
#1

а не пробовал например исходники поисковых машин смотреть ?

помогает...

Григорий Селезнев
На сайте с 25.09.2001
Offline
298
#2

kostik , не надо так грубо .

На яндексе и апорте есть описание архитектуры, вроде как на Гугле тоже было ... все остальное - строго закрытая информация, в полном объеме ей никто, кроме разработчиков ПС не владеет ... все полезное черпается из этого и других форумов по чуть-чуть ...

K
На сайте с 31.07.2002
Offline
7
#3

Извините если грубо вышло - хотелось покороче.

Просто если slick действительно интересуется реализацией поисковика, то просто из исходных кодов существующих поисковиков (htdig,mnogosearch и т. д.) - он найдет гааараздо больше полезного и интересного, чем в whitepapers yandexa (тем более что все мы понимаем, что эти схемы имеют весьма слабое отношение к жизни). Самое подробное, что я видел - это дипломная работа ребят из Google (http://www7.scu.edu.au/programme/fullpapers/1921/com1921.htm). А уж если задаться целью почерпнуть что-то полезное из форумов...Ну конечно на уровне общего понимания - да, возможно, а вот если говорить о реализации - сомневаюсь что это полезно, скорее каша в голове получится :) А вопрос-то, как мне показалось, - скорее обозначает интерес к реализации.

Еще раз простите - не имел ничего в виду.

Не сочтите за флэйм.

Regards

I
На сайте с 15.12.2000
Offline
80
#4
Как писал kostik
Самое подробное, что я видел - это дипломная работа ребят из Google (http://www7.scu.edu.au/programme/fullpapers/1921/com1921.htm).

После чего (1998 г.) ребята из Гугля плотно замолчали, а вот альтавистовские как раз каждый год чего-нибудь стали рассказывать.

Рекомендую почитать Марка Найорка про Меркатор (1999) и у него же про Atrax (2001)

Ссылок не даю - искать здесь все умеют. :)

K
На сайте с 31.07.2002
Offline
7
#5
Как писал iseg


После чего (1998 г.) ребята из Гугля плотно замолчали,

Так они ту статью, думаю, опубликовали только потому что надо было диплом защищать :)

А вообще такие вещи под патентами и составляют интеллектуальную собсвенность.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий