Инструмент для проверки страницы навскидку

Абсолютно ! Запрет на индексацию с парметрами типа "?" и т.д. он в robots.txt делается для это он (robots.txt) и предназначен.

Ну вот давайте не будем делать перенапрвлений www, /index.html, /index.php в .htaccess, давайте не будем грамотно robots.txt настраивать - все косяки будем с помощью canonical решать - директивы которая носит лишь РЕКОМЕНДАТЕЛЬНЫЙ характер !

Новые веяния Яндекса по этому вопросу читали ? Да плевать он на canonical стал.

robots.txt тоже рекомендательный, кстати... и как раз его перегружать точно не следует.

про перенаправления и прочее - их никто не отменяет... но и canonical лучше использовать.

если очень хотите поспорить - прошу, выделите отдельную тему и сюда ссылку оставьте...