Дубли страниц

+ за то, чтобы закрыть от индексации.

ПС могут периодически менять релевантную страницу с основной site.ru/001 на страницу с комментом site.ru/001/comment-page-1/#comments Вследствие чего могут проседать позиции.

Если комментарии несут в себе пользу, то разве они недоступны на основной странице? Есди лоступны то отдельные дополнительные страницы ненужны.

Закрыть от индексации лишние проиндексированные страницы и как-то решить вопрос на уровне cms с тем, чтобы эти страницы не генерировались. Это не вполне нормальная ситуация.

Однозначно, этот косяк не нужен, закрывать от индекса, дополнительный минус в карму сайта.

NeoDesign, В основном комментарии не несут полезного уникального контента так что лучше их закрывать от индексации в robots.txt но бывают варианты что лучше не закрывать.

Да нужно сначала исправлять прямо на сайте, и затем сразу править в Вебмстере в админке того поисковика где проиндексировались эти косяки.

Я так понимаю у Вас CMS это генерит. Если в Joomle, то там это можно исправить SEF 404 такой компонент для Сео оптимизации и ЧПУ ссылок и для редиректов в нем видно дубли. В общем поставить 301 на некоторые можно, те которые вы не поняли откуда берутся, но лучше исправлять причину, чем следствие.

Если Wordpress там другие есть способы схожие.

А за запрет для индексации этих ссылок в Robot.txt хороший пример, да вот только юные хакеры по этим ссылкам в Роботе сразу узнают что за CMS у вас стоит! (если вы вообще замарачиваетесь защитой сайта от взлома, то там куча мероприятий, от скрытия пути в админку, правки .hetacess и других признаков вашей CMS) и это как в следствии может привести к попытке взлома и к рассылке например спама с вашего сайта. Далее предупреждение от Hostera вашего, и закрытие сайта для просмотра с мира, пока вы сами не уберете иньекции и тд и тп. Это все долго нудно болезненно и неприятно. Лучше один раз все настроить.

Ну это так, откланивался от темы. А вообще битые и дублирующиеся ссылки хорошо сканировать прогой например Soe-tools в ней много разных фишек для определения ошибок на сайте. Дубли страниц, несуществующие страницы о которых вы даже не знаете так как их пока еще к примеру нет в индексе, но могут там появится например через неделю! - в общем это одна из хороших функций этой проги.