о ширине лап паука

Нет, имеется ввиду следущее: на каком-то заходе он считал сколько-то страниц. На следующем заходе - считал те, на которые ссылаются предыдущие и т. д.

т.е. только по внутренним ссылкам???

скажем, прописывая name.ru/dir/ я получу индексацию только name.ru/dir/index.htm? и если индекс не имеет внутри ссылок на дочерни страницы, то name.ru/dir/page1.htm, name.ru/dir/page2.htm, name.ru/dir/page3.htm останутся вне поля зрения робота???

Конечно, робот же ходит на страницы по ссылкам, если внутренние страницы по ссылкам недоступны - то они не проиндексируются (если их не сабмитить отдельно).

а как тогда объяснить доступность в поисковиках нетороых страниц (скажем вот с моего сайта), которые я никогда и ни где не прописывал, и ссылки на которые нет ни на одной из страниц сайта??? (вероятность размещения на них ссылок сторонними посетителями ничтожно мала)...

роботы же "паутят" интернет...

а если так, то не быстрее ли страница найдется, если будет лежать в одной директории с сабмитной страницей?

а как тогда объяснить доступность в поисковиках нетороых страниц (скажем вот с моего сайта), которые я никогда и ни где не прописывал, и ссылки на которые нет ни на одной из страниц сайта??? (вероятность размещения на них ссылок сторонними посетителями ничтожно мала)...

А всякое может быть - кто-то все-таки мог засабмитить, открытая статистика вебалайзера, открытые логи сквида на одном из хопов по пути к странице. Хочешь спрятать страницу - используй robots.txt или .htaccess.

а если так, то не быстрее ли страница найдется, если будет лежать в одной директории с сабмитной страницей?

Нет.

робот не может видеть список файлов в конкретной директории сразу (т.е. как Вы в FTP ), он берет страницу, разбирает ее, видит контент (текст, картинки, яваскрипты). Вытаскивает из страницы ссылки и проходится по этим ссылкам ... как происходит уже дальнейшая работа (приоритность прохода, кол-во проиндексированных страниц, то это уже дело конкретного черного ящика ... это относится как к сайту, так и к сайтам, которые ссылаюся на Ваш сайт ...

ясненько... спасибо...

просто я представлял некую иную структуру...

к чему это я вообще спрашивал - вот апорт, к примеру, очень лихо индексирует сайты... добавляю корень, он мне чуть ли не на следующий день выдает в списке проиндексированных чуть ли ни весь мой сайт....

я и задумался...