Ну а чем роботс плох? Да, страница будет в индексе гугла, но текст не будет участвовать в поиске. Если нужно, чтобы вообще всех ботов отпугнуть, то можно отдавать HTTP-заголовок 404, например - тогда точно никто этот iframe не проиндексирует.
У меня по запросу "проверка контрагента" ваш сайт на 9 месте в Яндексе. По каким конкретно запросам у вас проблемы? По поводу индексации - посмотрите в Яндекс.Вебмастере раздел Индексирование - Страницы в поиске - Исключённые. Какие страницы там считаются "недостаточно качественными" и "дублями"? Скорее всего, ваши 30 млн страниц не особо отличаются друг от друга, поэтому ПСы и не спешат их добавлять в поиск. И вообще, посмотрите, какие у вас конкуренты по интересующим вас запросам - у них тоже по 30 млн урлов?
Добавить на страницу iframe, адрес которого закрыть в robots.txt.
Надо справа от блока нажать на плюс. С чего вы взяли, что там ограничение в 20 штук? Они просто показываются по 20, внизу есть кнопка "Показать ещё 20".
Можно не трогать sitemap, страницы все-равно будут обходится роботом, но он не будет учитывать их в ранжировании.
GoodChoice, а можете показать это письмо? Никогда о таком не слышал.
Влияет. Но у вас же и так все в индексе.
Можете для начала только эти слова. Разницы особой нет.
Лучше не меняйте урлы. Точные позиции отображаются в Яндекс.Вебмастере, но с задержкой в несколько недель.
А зачем спешить? Если подождёте, само сменится.
