Алгоритм работы поискового робота

12
P
На сайте с 21.08.2009
Offline
1
1747

Здравствуйте! Являюсь новичком в области SEO, поэтому сильно не ругайте. Интересует информация о том, какой всё же алгоритм работы поискового робота? Конкретно интересует как робот ходит по ссылкам внутри сайта? Интересуюсь в связи с решением вопроса перелинковки внутренних страниц. Ведь если знать алгоритм обхода, можно направить робота поисковика в нужном направлении. Или я в чом-то ошибаюсь?

Marvin
На сайте с 12.07.2007
Offline
51
#1

в смысле направить робота в нужном направлении

( у тебя сайт слева справа чтоль обходится ))) )

ставь ссылки ботик по ним перейдет и сожрет нужные тебе странички

если не надо чтоб сожрал странички добавляй их в роботс или ссылки на страницы в ноиндес

при втором вариате вероятность попадания страниц в индекс все же есть так что надежней роботс

плавайте поездами аэрофлота
P
На сайте с 21.08.2009
Offline
1
#2

Рассматриваю такой вариант - бот пришёл на главную страницу, меню в запрете роботс, есть 5 статей на главной странице (в анонсе), с сылками на них. Бот пойдёт по первой ссылке начнёт сканить текст, картинки, видео и т.д. В тексте ставлю ссылку назад на главную. Я так понимаю он по этой ссылке пойдёт назад на главную? Или он работает в многопотоковом режиме?

K
На сайте с 31.01.2001
Offline
737
#3

Он не ходит вперед и назад, а также вправо или влево.

У него есть очередь урлов, которые надо скачать. Иногда в эту очередь попадают неизвестные ему ранее урлы.

ploxoimalchik:
меню в запрете роботс,

это еще зачем?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
P
На сайте с 21.08.2009
Offline
1
#4
Kost:
Он не ходит вперед и назад, а также вправо или влево.
У него есть очередь урлов, которые надо скачать. Иногда в эту очередь попадают неизвестные ему ранее урлы.

это еще зачем?

Читал, что сейчас поисковики не обращают на меню внимание. ДЛя них существуют только страницы разного уровня вложенности

D
На сайте с 21.08.2009
Offline
0
#5

нет он так работает.

A
На сайте с 22.02.2009
Offline
57
#6

Алгоритм работы поискового робота - тайна за семью печатями :)

Sapient InterSocial Submitter (http://sapientsubmitter.com) - ~300 _действующих_ социалок в базе RazorSharp Submitter (http://RazorSharp.su) - ~100 RSS/блогсервисов в базе
LeonCrab
На сайте с 30.01.2007
Offline
189
#7

Почитайте на досуге, авось пригодится...

Помощь в создании сайтов на MODX, Laravel, Slim. В личку. Хостинг, которому я доверяю (https://beget.com/p181956).
K
На сайте с 31.01.2001
Offline
737
#8
ploxoimalchik:
Читал, что сейчас поисковики не обращают на меню внимание. ДЛя них существуют только страницы разного уровня вложенности

А как робот узнает о других страницах сайта, если вы ему закрыли все ссылки в меню?

А потом спрашиваете про какой-то алгоритм.

[Удален]
#9
LeonCrab:
Почитайте на досуге, авось пригодится...

А нет ли у Вас ссылки на документ от 1969 года? Мне очень нужно. :o

bukvofil добавил 01.09.2009 в 23:17

ploxoimalchik:
Ведь если знать алгоритм обхода, можно направить робота поисковика в нужном направлении. Или я в чом-то ошибаюсь?

Вероятность того, что страница на которую есть ссылка попадёт в индекс существенно больше, чем если на неё нет ни одной ссылки. Примерно с этой целью делаются карты сайта и в формате для роботов и в формате для людей. Но сам факт того, что ссылка есть не говорит того, что страница обязательно попадёт в индекс.

Как такового обхода сайта не существует. Скорее можно говорить о том, что сайт индексируется не весь за один раз и в первую очередь в индекс попадают наиболее видимые для робота страницы.

K
На сайте с 31.01.2001
Offline
737
#10
ploxoimalchik:
ДЛя них существуют только страницы разного уровня вложенности

Если вы узнали сперва про сапу, то для вас, конечно, уровни вложенности - это крайне важно :). А робот Яндекса делали до сапы, для него эти уровни - дело двадцатое. Он двумя уровнями не ограничивается :).

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий