AiK

AiK
Рейтинг
257
Регистрация
27.10.2000
Должность
SEO consultant
Интересы
Astronomy
Jetsan:
где можно посмотреть подробную архитектуру поисковой системы

Выше Ярослав дал ссылку. На http://company.yandex.ru/ есть много статей, в т.ч. и описывающих архетектуру Яндекса. А ещё в статьях есть ссылки на источники, т.е. на статьи, описывающие как устроены другие поисковики.

Jetsan:
не знакомо такое понятие как "бар".

Бар - это сокращение от тулбар (toolbar), т.е. панели инструментов. Подробности в любом поисковике набрать [тул]бар + имя поисковика

Jetsan:
http , как мне кажется , распространяется "поверх" tcp протокола?

Это к чему? Он с таким же успехом может распространятся по любому другому сетевому протоколу (какой там протокол у сотовых телефонов?) но суть его от этого не изменится. :)

Я имел ввиду, что через любые N точек можно провести бесконечное множество полиномов N+1 степени.

Nick Bubelo:
(GET, или POST -- безразлично).

Не дезинформируйте людей. Любой HTTP запрос поисковика начинается с GET, т.е. никак не с POST.

Jetsan:
Как поисковая система узнает про страницу, которая появилась в сети, не была внесена для индекса , не имеет внешних ссылок на нее?

Строго говоря, поисковики пытаются избавлятся от таких страниц. Узнают просто - через бар, когда идёт запрос на получение PageRank (или аналогичные параметры), а Рамблер - по загрузке счётчика с этой страницы.

Jetsan:
2.С помощью какого протокола происходит поиск страниц роботом поисковой системы?

HTTP

Jetsan:
Механизм работы робота в плане распространения по сети? Как обращается к DNS серверу, что посылает, что получает?

Crawler абсолютно точно не обращается к DNS - это лишние для него действия, да к тому же он как правило берёт не одну страницу с домена, а много. Хранит записи DNS и следит за их актуальностью самостоятельный модуль поисковика, который роботом обозвать сложно.

wolf:
Просто сверить показания в нескольких точках.

Т.е. ты уверен в линейности?

Робот будет открывать URL записанную в теге form в атрибуте action, если атрибут method не задан или указан равным GET.

А по кнопке без формы не то что робот, а и человек перейти не сможет :D

wolf:
Такой масштабный эксперимент ставить совершенно необязательно, если построить адекватную математическую модель. Ты мыслишь другими категориями.

В принципе согласен. Если ссылка А сильнее ссылки Б в 2 раза и это доказано, и ссылка А сильнее ссылки В в 4 раза и это тоже доказано, то опираясь на метод матиндукции можно предположить существование такой ссылки Г, которая будет слабее, чем ссылка А в 64 и более раз. Только что-то мне подсказывает, что именно ссылка А больше похожа на естественную, чем ссылка Г. Т.е. ты обладаешь знаниями не как улучшать, а как портить ссылки ;)

wolf:
Построением аналитической модели и проверкой ее адекватности на практике.

Модель оставим на потом. Мну практика интересует. Чтобы утверждать, что одна ссылка сильнее другой в 64 раза, а не на 63 аналогичные ссылки, нужно, чтобы на 2 ссылки первого рода необходимо было отвечать 128 ссылками второго рода. Я охотно верю, что ты максимально аккуратно провёл этот довольно масштабный эксперимент. Меня другое смущает. Почему ты ещё не воспользовался таким мощным мультипликатором для сайтов своих клиентов? :)

Формально - URL разные. Соответственно изначально документы будут считатся разными, а потом будут склеены. А если документы содержат блоки динамически меняющейся информации, то один из документов отправится в supplemental.

Junnyjourney:
Есть англоязычный сайт. трастовый -=SKIPPED=- Вперед вылазят как говорится rubbish sites

Тут одно из двух: либо у вашего сайта траста нет, либо те сайты, которые Вы считаете вздорными имеют траст больше вашего.


Контент понятно уникален, настолько что его дублируют многие другие.

Здесь лежит ключ к исправлению ситуации.

Всего: 3256