Какой URL поисковикам подсунуть?

а что вам мешает выделить первую страницу с полученного урла?

ЗодчийТеней, Вот именно!!! И с нее начать! :)

"Добраться" - значит добраться по ссылкам, если кто не понял. :)

Кроме того, предполагается, что в этом же понимании - с главной страницы можно добраться до любой другой с сайта, если эта ссылка доступна пользователю и роботу (всякие скрипты и редиректы не рассматриваем).

Все, и правда пошла работать... :)

а какая разница с какой страницы вы начнете обход сайта?

Разница есть, однозанчно, подмножество достижимых страниц может отличаться

и перефразируя господина Круглова, вам как поисковому серверу не всели равно взяли вы с сайта 10 или 100 страниц? всегда найдется сайт с аналогичным содержанием, а если разработчик сайта не позаботился о том чтобы все его страницы были видны это лишь его проблемы. мусора в сети и так хватает

Я уважаю Ваше мнение, но позволю себе следующее замечание.

Полнота охвата (определение взято у г. Ашманова) действительно является некоей характеристикой SE. Делают ли сейчас ставку на это ведущие игроки этой ниши - наверное да. Однако не до фонатизма :) (мое личное мнение, ничем не подтвержденное). Посудите сами, на 10 млн. документов, отсканированных за день приходится 30-40 тысяч новых сайтов с учетом уже существующих у SE фильтров и эвристик, реально их значительно больше. Так ли важно SE посмотреть все, что у Вас имеется? Захочет ли он этого? Будь я поисковиком - да ни в жисть... :)

А вот ежели несколько посторонних источников скажут мне: "Ну глянь сюда, интересно же.." - то посмотрю. В 50 случаях из 100 плюну и дальше смотреть не стану ибо, бог мой, опять меня (SE) хотят ввести в заблуждение все более изощренными методами.

Просто жизнь устроена так, что люди ради своей сиюминутной выгоды сами подпиливают сук, на котором сидят :)

В данном контексте, ведущие SE могут и пренебречь полнотой охвата, а могут и не пренебречь, в зависимости от своего понимания мирового порядка.

Философия, однако :-)

Я согласен на тему эвристик обхода сайтов. Я просто хотел констатировать тот факт, что физически (или если хотите математически) можно получить разное множество страниц. Насколько это влияет на качество поиска - вопрос уже другого плана.

Разница, как уже пояснялась, такова:

1) С периферийной страницы начинать не стоит потому, что может отсутствовать возможность добраться до других периферийных страниц.

2) С главной страницы лучше начинать по той простой причине, что чаще всего с нее (читайте советы гугля) можно теоретически добраться до любой другой страницы, особенно если разумно построена карта сайта.

Специально для любящего обобщать господина Kryukov, :) : я никогда не ручалась за последовательность чтения. После прочтения заглавной страницы робот может читать новоприобретенные урлы по одному ему известным алгоритмам, даже - порождая кучу пауков, которые будут лазить по дереву ссылок рекурсивно.

ЗодчийТеней,

мне очень интересно, где я себя опровергаю...

Подумайте, с таким же, а даже скорей всего с большим успехом можно продвигать карту сайта.