Вопрос про robots.txt

Здравствуйте. Подскажите пожалуйста.

Вот допустим есть сайт несколькими разделами статей. И в каждом разделе есть постраничное разбиение. Например:

site.ru/auto/

site.ru/auto/2/

site.ru/auto/3/

site.ru/auto/4/

Посты постоянно добавляются в эти категории и имею адрес вида: site.ru/1.htm site.ru/2.htm и т.д.

так вот, На сколько я понимаю, нужно скрыть от индексации страницы:

site.ru/auto/2/

site.ru/auto/3/

site.ru/auto/4/

Для этого в robots.txt одним из правил будет:

Disallow: /auto/*/

Теперь вопрос:

Если на пример на странице site.ru/auto/3/ будут статьи которые поисковики еще не успели проиндексировать за то время когда эти статьи были на странице site.ru/auto/ то находясь на третей страницу раздела поисковик сможет их проиндексировать или нет?

или вот другая формулировка вопроса:

При условии Disallow: /auto/*/ робот будет заходить по ссылке site.ru/auto/3/ и не занося эту страницу в индекс переходить по ссылкам которые есть на этой странице?

matios добавил 30.11.2011 в 17:11

неужели никто не знает?(( или просто не хочет поделиться?