как выкинуть из индекса сетку сайтов

в роботсе можно закрыть индекс как всего сайта, так и отдельные его составные части. Можно конечно сделать еще xml- ку, но я такое не проверял

т.е при смене урлов на сайте, от меня требуеться все ранее используемые урлы закрыть роботом?

нет! В робот тхт есть команда запрещающую индекс сайта в 1 строку

мне не нужно запрещать индексацию всего сайта мне нужно запретить индекс, страниц которые были ранее занесены в индекс, а новые страницы с другой схемой постоения урлов т.е из динамических в статические, и вот именно статические мне нужно загнать в индекс а динамикку закрыть

Можно через .htaccess выдать какой-нибудь статус отличный от 200. Подберите. Выпадет, гарантированно.

если у вас динамические страницы по категориям отличны от статики, то запретить можно динамические страницы.

Вы определитесь, что хотите ... То убивать сетку, то нет ....

Самый простой способ - это в роботсе две строчки:

1 - User-agent: *

2 - Disallow: /

Когда поменяете там контент, то вместо "Disallow: /" пропишите "Disallow: " и будет Вам счастье ..