Ок, спасибо всем
а если просто будет написано "Allow: / "
Закроет ли этот оператор сайт от индексации?
Гугл плохо относиться к сгенерированному контенту.
Цитата из Google starter guide:☝
Качественный и конкурентоспособный контент – это то,что способно повлиять на позиции вашего сайта гораздосильнее чем все вышеописанные факторы. Пользователи знают толк в качественных сайтах, и могут рекомендовать понравившийся сайт другим пользователям в блогах, форумах, социальных сетях, электронных письмах. Естественная реклама и рекомендации от одного пользователя к другому повышают репутацию вашего сайта как среди пользователей, так и поисковых машин. Добиться этого эффекта без качественного контента невозможно.
Что за сайт у вас?
Пробовали проанализировать ссылочную массу?
Согласен, снимать нужно постепенно, чтобы это выглядело как можно естественнее. На сапе ссылки сами должны начать отваливаться. Можете сходу снять сапешные ссылки, которые еще не успели попасть в индекс. Эффекта от этого не будет, зато меньше себе работы обеспечите. Как проверять наличие сапешных ссылок в индексе я думаю рассказывать не стоит:)
Хочу к вышеизложенному добавить, что если закрыты эти дерриктории, G не может полностью проанализировать страницу на наличие, к примеру, скрытого от пользователя текста (что может быть под спойлером реализованном на js и т.д.). Этот текст в свою очередь может быть средствами css "замаскирован" под фон страницы и т.д. Поэтому, G хочет "читать" JS и СSS чтобы более точно проранжировать страницу.
