а потому что страниц, которые не нужно индексировать порядка 2-4 тысяч, что бы их перечислять и нет возможности вынести их в отдельный каталог. а по маске, к сожалению, в robots.txt запретить индексацию нельзя.
т.е нужно добавлять и удалять каждую страницу. хорошо.
а почему старые страницы не измеяются ?
когда паук будет просматривать старые страницы на предмет изменения контента ? после полной идексации сайта ?
