Немогу не подписаться под вашим сообщением!!!---------- Добавлено 28.11.2013 в 16:22 ----------
Скажу по себе, раньше юзал только Google. Но в последнее время гугля чет шатает, и он выдает хлам без учета таргетинга, тулит к запросу соц сети и ютуб и выдает информационные сайты по коммерческим запросам. Поэтому сейчас пользуюсь и тем и тем поиском, что то в Гугле нахожу, что то в Яндексе. У каждого свои плюсы и минусы, хотя безусловно у Гугла ресурсов по больше будет!
Лучше почитайте какую функцию выполняет тег rel="canonical" и подумайте почему яндекс, которому указали что эти 200 страниц являются лишь дубликатами, решил их выкинуть из поиска ☝
И выдача гугла https://www.google.com.ua/webhp?output=search#q=%D0%B3%D1%80%D1%83%D0%B7%D0%BE%D0%B2%D0%BE%D0%B9+%D1%8D%D0%B2%D0%B0%D0%BA%D1%83%D0%B0%D1%82%D0%BE%D1%80+%D1%81%D0%BE%D0%BB%D0%BD%D0%B5%D1%87%D0%BD%D0%BE%D0%B3%D0%BE%D1%80%D1%81%D0%BA
Напишите вопрос в поддержку Google и Yandex. Они формируют правила для ранжирования сайта, там вам и дадут точные ответы. ☝
А все остальное лишь совокупность субъективного мнения основанного на логике, собственном опыте и догадках.
Почитайте руководства по оптимизации от Google и Yandex, проанализируйте, и найдите свой баланс. И будет вам счастье. (попутно по мониторьте блоги СЕОшников, которые эксперименты ставили) только статья за 2013 год желательно, т.к. все что ранее уже не актуально процентов на 70
Наиболее надежный метод, это я вам советую поработать с .htaccess, правда непонятно сколько там страниц (если очень много то будет геморно) но в целом суть такова.
Создаете страницу 404 (или любую иную заглушку) и в .htaccess настраиваете редирект всех нужных страниц, на эту страницу заглушку.
ПС не раз говорили что robots.txt это лишь рекомендация, но не панацея. А от редиректа им деваться будет некуда!
С баз понятное дело вы не удалите, но как минимум из индекса инфа выпадет. И даже при встечении всех лун, Яндекс всеравно будет держать инфу в индексе, то пользователь, перейдя по ней, будет попадать на страницу заглушки!
Большее разве что поехать на прямую в яндекс и там что то решать.
да в .htaccess настройте нужны редирект (с ввв или без) тот же основной домен укажите в роботсе и в вебмастере яндекса и гугла. И ждите переиндексации
Конечно, в Google настолько круто, что они даже сняли фильм, рассказывающий как там круто http://www.kinopoisk.ru/film/666935/
Ниже приведу цитату из рецензии:
... Фильм в какой-то мере рассказывает про «гугл». Мир компьютерных технологий, как помнится, активный, яркий и цифровой. Но, если взять ту же «Социальную сеть», то там намного больше этого. чем в «Кадрах». И если там всё было живо и интересно, то здесь язык поворачивается называть всё происходящее самой дорогой рекламой «Google», по какому-то недоразумению растянувшейся на 2 часа...
Я лично подсел на top-inspector.ru по мне удобно!
Сейчас у Google перетряски какие то... Так что возможно и до вас добрались...