Как писал chaif kBace4ka, а почему бы не использовать в данном случае robots.txt?
а потому что страниц, которые не нужно индексировать порядка 2-4 тысяч, что бы их перечислять и нет возможности вынести их в отдельный каталог. а по маске, к сожалению, в robots.txt запретить индексацию нельзя.
kBace4ka, а почему бы не использовать в данном случае robots.txt?
а потому что страниц, которые не нужно индексировать порядка 2-4 тысяч, что бы их перечислять и нет возможности вынести их в отдельный каталог. а по маске, к сожалению, в robots.txt запретить индексацию нельзя.
Эдак они могут очень долго удаляться...
т.е нужно добавлять и удалять каждую страницу. хорошо.
а почему старые страницы не измеяются ?
когда паук будет просматривать старые страницы на предмет изменения контента ? после полной идексации сайта ?