Почему яндекс заходит только на страницы, на которые есть ссылки с морды?

У бота есть некий список страниц, которые надо проиндексировать. Как появился этот список: либо через форму добавили, либо в предыдущий раз бот приходил и ссылок набрал. Индексатор обращается к файлу роботс.тхт и проверяет - какие страницы можно брать, а какие - нет. В соответствии с этим из своего списка он выбирает страницы не запрещенные для индексации и берет их. Таким образом в базу попадает некое множество страниц сайта, но необязательно все.

нет, кирилицы нет.

эх, если бы все было так просто :(

И после всего этого Яндекс называет себя "Зеркалом интернета".... :-/

Если он заглядывает только на страницы. на которые есть ссылки с главной....

Слышал звон........ =))

Найдётся всё. Со временем.

Конечно имхо, но (надеюсь они не сильно исказили класический алгоритм)

Когда индексация начинается, робот конечно начинает с морды, по проходит по ссылкам. У него лимит времени на сайт. Что успел - то взял. Лимит у разных сайтов - разный. Зависит от многих факторов.

Так продолжается несколько раз, с каким-то интервалом.

Потом, когда накопились данные, робот ходит по сайту, начиная как с морды, так и со страниц с наибольшей частотой обновлений и с большим весом внешних ссылок.

По всей видимости, робот иметт ограничения и на количество ошибок. Если код имеет ошибки и сервак часто возвращает код отличный от 200, бот посто уходит.

Такое часто наблюдается у сайтов, посторенных на движках с "плавающими" страницами, когда страница со временем меняет УРЛ.

(да, здесь я еще не описал проходы быстроробота, робота каталога и т.д.)

Вощем посмотрите расширенные логи сервера, там много станет понятно.

Jet, Это лиш частный случай

Lenka, ИМХО ищите ошибки у себя, а не у Я. либо покажите сайт, скорее всего Вам на них укажут.

Lenka, а какая у Вас "глубина" (от морды) до не индексируемых страниц, не считая карты сайты?

Спасибо за подробный ответ