Насколько далеко заходит робот ?

Робот индексирует по ссылкам, даже если будет 20 уровень, да и ещё если ссылка будет стоят на этот уровень с главной, проиндексирует в первую очередь.

Ну если есть ссылка с главной - то это уже как бы второй уровень. Я имею ввиду последовательную вложенность страниц - при которой каждая следующая удаляется от главной на один уровень. На сколько далеко она может находиться , что бы быть проиндексированной ?

Вам же написали - Яндекс проходит по всем ссылкам внезависимости от уровня. Вопрос только во времени

Робот что, в разное время что ль индексирует страницы ? Сегодня морду, а в следующий заход вторую страницу ? Что значит "вопрос во времени" ?

Робот каждый раз, когда заходит на ваш сайт, берёт определённое кол-во страниц (т.е. при всём желании он не сможет проиндексировать ваш сайт одним разом), дабы не нагружать сервера.

P.S. Читайте И.Ашманова - Глава 5 - в ней всё подробно изложено. Tito - это основы, их нужно знать на зубок :)

Робот обычно не индексирует все страницы за раз, а в несколько заходов.

Сколько уровней и страниц робот индексирует за один заход ? И где прочитать Ашманова по этой теме ?

Tito, вы такие вопросы задаёте :) , если хотите узнать, то заглядывайте каждую минуту на webmaster.yandex.ru в раздел "Проверка сайта на индексацию" и смотрите, сколько страниц проиндексировано на сайте :).

P.S. Никто точно не ответит на этот вопрос, всегда по-разному. Ни одна ПС не работает по стандартной схеме.

А может и наоборот. Сначала прийти на внутряк, потом скакануть на морду. :)

Зависит от того, куда ведут ссылки и какую страницу добавили в аддурл, что ответила страница при посещении робота... 404 или 500-512 вполне может быть, вместо 200-го ответа :)

Вообще, судя по логам всегда "индексируется" роботс.тхт в первую очередь 😂

Как сейчас помню: Тихий спокойный рабочий вечер, кодга домой идти ещё рано, а работать уже поздно, и есть часок-другой для "послерабочего" отдыха в Интернет от дома и работы... вдруг вбегает наш "Цисковод", с выпученными глазами, и что есть мочи орёт, что мой маленький сайтик (моё "солнышко" - любимое хобби) исходящим трафиком укладывает наш 10-и мегабитный канал. Ну... мы выпили пива... и принялись разбираться, что к чему, и оказалось, что я случайно в одной из новостей разместил ссылку на архив новостной ленты + форума, а яндексовский робот решил заняться индексацией этого архива! Вопрос был решён кардинально и в ответ на заход робота (и не только от яндекса) серверные скрипты стали ему выдавать "Извините, поисковикам вход временно воспрещён" (это было давно и я тогда не знал про клоакинг и роботс). Пока суть да дело - канал лежал ~20-30 минут. Вот вам уважаемые и "5-ая глава Ашманова" (где, кстати, о количестве информации которую может забрать робот за один заход ничего не сказано) - 10/8(переводим в Кб/c)*60(кол-во секунд в минуте)*25(кол-во минут) = 1875 Мегабайт => 1 Гигабайт 851 Мегабайт. ...и, даже, если 50% от этого трафика списать на наши внутренние сервисы, всё равно получается огромный объём трафика в масштабах одного робота.

P.S. Угадайте по какому запросу после этого мой сайт очень долгое время находился в топ 1 ПС? ;)