Нет, всем спасибо - это все понятно... В смысле как запретить дальнейшую индексацию...
Вопрос в том как автоматом поремувить из базы уже имеющиеся страницы. Они в тех же разделах, что и нужные документы.
У меня страннная ситуация - в базе Yandex находится 47800 документов. Максимум. Четко. Круглое число. Иногда 47988, скажем. :) Но всегда, на протяжении долгого времени, в этих пределах. Приходит робот, кушает по 1-2K документов. Ничего не меняется. Самое главное, что валяются старые документы сплошняком, новые не попадают в базу. Хотя робот глотает все. Ну If-Last-Modified я не обрабатываю, ну это понятно как ставить. Но сначала хотелось бы вычистить всякую дрянь, а руками я умру это делать...
2 MGRLX
Никак нет. Сайт кучу лет уже существует.
