Курсовой

12
Jetsan
На сайте с 20.12.2007
Offline
1
2743

Люди добрые, завтра защита курсового на тему "Технологии поисковых систем интернет".

В ходе предзащиты всплыл ряд вопросов у преподавателя.

Большое спасибо всем тем, кто откликнется.

1.Как поисковая система узнает про страницу, которая появилась в сети, не была внесена для индекса , не имеет внешних ссылок на нее?

2.С помощью какого протокола происходит поиск страниц роботом поисковой системы?

3.Механизм работы робота в плане распространения по сети? Как обращается к DNS серверу, что посылает, что получает?

Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
#1

Делаете доклад по поисковым технологиям, а поиском не пользуетесь - как так? :)

Посмотрите здесь:

http://company.yandex.ru/press/2002/10-29_01.xml

С уважением, Ярослав Деревягин Веб-агентство "Found (http://found-it.ru)"
AiK
На сайте с 27.10.2000
Offline
257
AiK
#2
Jetsan:
Как поисковая система узнает про страницу, которая появилась в сети, не была внесена для индекса , не имеет внешних ссылок на нее?

Строго говоря, поисковики пытаются избавлятся от таких страниц. Узнают просто - через бар, когда идёт запрос на получение PageRank (или аналогичные параметры), а Рамблер - по загрузке счётчика с этой страницы.

Jetsan:
2.С помощью какого протокола происходит поиск страниц роботом поисковой системы?

HTTP

Jetsan:
Механизм работы робота в плане распространения по сети? Как обращается к DNS серверу, что посылает, что получает?

Crawler абсолютно точно не обращается к DNS - это лишние для него действия, да к тому же он как правило берёт не одну страницу с домена, а много. Хранит записи DNS и следит за их актуальностью самостоятельный модуль поисковика, который роботом обозвать сложно.

Jetsan
На сайте с 20.12.2007
Offline
1
#3
AiK:

Crawler абсолютно точно не обращается к DNS - это лишние для него действия, да к тому же он как правило берёт не одну страницу с домена, а много. Хранит записи DNS и следит за их актуальностью самостоятельный модуль поисковика, который роботом обозвать сложно.

А где можно посмотреть подробную архитектуру поисковой системы?

Еще мне не знакомо такое понятие как "бар".
http , как мне кажется , распространяется "поверх" tcp протокола?

AiK
На сайте с 27.10.2000
Offline
257
AiK
#4
Jetsan:
где можно посмотреть подробную архитектуру поисковой системы

Выше Ярослав дал ссылку. На http://company.yandex.ru/ есть много статей, в т.ч. и описывающих архетектуру Яндекса. А ещё в статьях есть ссылки на источники, т.е. на статьи, описывающие как устроены другие поисковики.

Jetsan:
не знакомо такое понятие как "бар".

Бар - это сокращение от тулбар (toolbar), т.е. панели инструментов. Подробности в любом поисковике набрать [тул]бар + имя поисковика

Jetsan:
http , как мне кажется , распространяется "поверх" tcp протокола?

Это к чему? Он с таким же успехом может распространятся по любому другому сетевому протоколу (какой там протокол у сотовых телефонов?) но суть его от этого не изменится. :)

Jetsan
На сайте с 20.12.2007
Offline
1
#5
AiK:
Выше Ярослав дал ссылку. На http://company.yandex.ru/ есть много статей, в т.ч. и описывающих архетектуру Яндекса. А ещё в статьях есть ссылки на источники, т.е. на статьи, описывающие как устроены другие поисковики.

Пролистал на счет архитектуры, но ничего вразумительного не нашел... Может посоветуете еще где посмотреть... Нужна аппаратная реализация архитектуры любой поисковой системы, накрай - структурная схема. Во вторник последняя защита...

D
На сайте с 10.08.2007
Offline
52
#6

Эм... а что вы вообще в своем курсаче-то делали?

Что значит "нужна аппаратная реализация архитектуры"? Вы сами понимаете употребляемые термины? Если нет - не употребляйте не к месту.

Diplomat
На сайте с 03.11.2006
Offline
124
#7

Да конечно удивительно как вы писали курсовой если не знаете(не можите найти) ответы на свои вопросы.

посмотрите здесь http://www.rambler.ru/doc/architecture.shtml

http://images.rambler.ru/legal/architecture.gif

Это конечно не последние данные, но довольно полезная информация.

С уважением, Алексей.
Jetsan
На сайте с 20.12.2007
Offline
1
#8
dating?:
Эм... а что вы вообще в своем курсаче-то делали?
Что значит "нужна аппаратная реализация архитектуры"? Вы сами понимаете употребляемые термины? Если нет - не употребляйте не к месту.

Тема "Технология Поисковых Систем Интернет".

Термины, написанные мной, я прекрасно понимаю...

Что вам непонятно?

Может есть еще люди, которым не понятны мои вопросы? Или это единичный случай?

Jetsan
На сайте с 20.12.2007
Offline
1
#9

Структурная схема-это хорошо... Нужна именно аппаратная реализация, вплоть до типа кабеля между серверами... Это не совсем то... Но спасибо за помощь...

[Удален]
#10

Jetsan, странно, что такие вопросы появляются у Вас непосредственно перед защитой, а не возникли во время написания работы. И чтоб не совсем офф-топ, вот ещё немножко на "почитать":

http://turtle.ru/db/architecture/

Наслаждайтесь.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий