Индексирует закрытую инфу.

пользуй это

<meta name="robots" content="noindex">

А по другому никак? Это вообще какой-то кривой файл, сгенерированный CMS

роботс запрещает (у гугла) доступ к -\\- боту, а метатег, я уже написал выше, запрещает индексирование - тут читайте начало выделенное и далее со слов "обратите внимание"

вот здесь еще почитайте, особенно обратите внимание на это:

У меня та же ситуация. Сайт новый. Один месяц. Сначала google индексировал именно те страницы которые были запрещены в robots.txt. А потом остальные. И теперь продолжает индексировать запрещенные страницы. Не знаю что делать.

Господи, ну когда же вы все запомните, что ПС индексируют те страницы, которые считают нужными. И им пофиг на ваши файлы robots. Подобные "сопли" и дальше будут выползать в поиске. Успокойтесь уже и смиритесь с этим фактом. Дубли страниц можно только минимизировать. Полному исключению из выдачи это дело не подлежит. Единственное, если вы вместе с ними и целевые страницы запретите индексировать, но это дело уже идет в ущерб трафику.

С чем мириться то? Что руки кривые? или что восстание машин началось с бездумно бродящих по нэту ботов, махающих рукой на robots.txt и идущих дальше по запрещенным маршрутам... Дорвейщики в ужасе!!!!

Объясните мне такую штуку, в данном мануале черным по белому написано:

Сколько не искал, не нашел списка, только количество заблокированных url. Но в мануале написано список. Это напрягает больше всего, как и то, что такие страницы, как и у ТС держит в индексе годами.

Тоже присоединяюсь, ТС четко указал, что это за страницы. Там прописать мета-теги не получится. Пока для меня единственный вариант - это каноникал линк, но такие страницы, как правило, пустые, а каноникал указывает главную, что не совсем верно. Какие еще есть варианты решения по исключению мусора из индекса?

не парьтесь - это нормально, в основном индексе их нет, у меня гугл также отреагировал на запреты в роботсе. Он их выплюнет, но чуть позже.