принцип работы робота

4LF

Сам то понял че сказал?

Пробегает 2 в 32-ой степени адресов :)

Вот насмешил.

Все просто. Есть сайты, которые регистрируют в поисковой системе. Когда паук заходит на такой сайт, он там собирает все линки, запоминает их в своей базе и далее идет по ним

хм... если я никогда не добавлю свой урл в google или ya то ини меня никогда не найдут и не проиндексируют...??

4LF

Если вообще нигде не оставишь свою ссылку, то не найдут. Если оставишь хоть на одном сайте, то когда его будут индексировать по ссылке проиндексируют и тебя

Ask, например, вообще считает, что если на тебя нет ссылок в интернете, то и индексировать тебя не нужно (нет там формы добавления своей ссылки).

Но, кстати, сейчас, с распространением всякого гуглового спайвара, бота на сайт можно привести просто самому зайдя на него с помощью броузера.

ИМХО: в общих словах - действие робота в идеале должно тупо повторять действия простого пользователя

(т.е. он заходит на страницу/ы, кушает ее, видит на ней ссылки, переходит по ссылкам и кушает другие страницы, на которых, соответственно, ... и т.д.)

?

Bomass, змеченно что если стоят плагины типа гуглбара и яндексбара , то ини (гугл и яшка) хавают сайт и без ссылок и добавлений, просто хаходишь на сайт и все ...

А смысл?

Смысл в том, чтобы узнать больше страниц, полнее проиндексировать интернет.

Например, Рамблер узнает о новый страницах, если на них поставили счетчик и дернули его.

Kost, он так же узнает о странице если был переход на него.