Индексация и robots.txt

тут можно почитать мнение гугла по этому вопросу,особенно обратите внимание на это:

Получается страницы не только должны быть закрыты в роботсе, но и их не должно существовать, тогда они сами вылетят.

потёрто...

http://iphonchik.com.ua/robots.txt

Где?

извиняюсь, не проснулся...

Странная ситуация...

попробуйте письмо в службу поддержки со ссылкой на robots.txt и вид ссылки которая в индексе.

...

Я бы попробовал ещё с инструкцией поиграть, я думаю среди мусорных повторяется не только та часть которую вы в инструкцию добавили!

...

У яндекса инструкция работает?

Из справки гугла:

Следует отметить, что даже если вы запретите поисковым роботам сканировать содержание вашего сайта с помощью файла robots.txt, возможно, что Google обнаружит его другими способами и добавит в индекс.

Используйте метатег noindex, чтобы содержание не появлялось в наших результатах поиска. При наличии метатега noindex на странице Google исключает всю страницу из наших результатов поиска, даже если на нее ссылаются другие страницы. Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании.

У меня подобная проблема, как у ТС. Только у меня гугл индексирует выходящие ссылки с сайта.

Та же проблема.

Чтобы не дублировались страницы вида .../ и .../index.php я закрыл в роботсе все файлы index.php - Disallow: /*index.php$. Вчера обнаружил их в индексе. А в гуглвебмастере сообщение об ошибке, мол важные страницы закрыты от индексации. При этом, как я уже говорил, поисковик посчитал, что это ошибка и выпер их в индекс.

Я конечно, могу закрыть все .../index.php метатегом, но при этом и станицы вида .../ пострадают. Так что это не вариант вообще.

Хотя Гугл в последнее время вообще похож на гопника-беспредельщика из 90-х. Ему законы не писаны. Так что я не удивлен.

Посмотрите тему Как удалить ненужные страницы с выдачи ?

Сам так удалил все ненужные страницы.

Насколько я понял там вручную каждую ссылку приписывать надо, это не вариант. Ну допустим я удалил все те страницы, но не факт что не появятся новые. Корень проблемы остается