Дубли страниц

Дубли надо запрещать к индексации.

а что тогда топовые варезники не запрещают?)

А вы у них спросите

У себя на сайтах запрещаю для индексации только page/1/, остальные не вижу смысла закрывать.

Копии страниц сайта лучше закрывать, что лучше скажется на индексировании сайта.

Лично я закрыл нафик

Вот пример моего роботс

Disallow: /*print

Disallow: /user/

Disallow: /engine/

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=stats

Disallow: /index.php?do=pm

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?do=addnews

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?subaction=newposts

Disallow: /engine/download.php?id=*

Disallow: /index.php

Disallow: /?newsid=*

Disallow: */page/*

Если используется ЧПУ, то на мой взгляд проще заменить весь этот кусок одной строчкой:

Disallow: /*?

А что касается index.php его прописать так:

Disallow: /*index.php

если изначально грамотно не подкрутили редирект для такого рода дублей в .htaccess,

ведь index.php может дублировать не только главную...

Спасибо, учту. Просто закрывал, так сказать на живую, что гугл и яша кушал - то и закрывал. Правда все равно попадаются моменты когда поисковикам плевать на роботс

User-agent: Yandex

Disallow: /autobackup.php

Disallow: /getlink/

Disallow: /user/

Disallow: /favorites/

Disallow: /statistics.html

Disallow: /uploads/

Disallow: /newposts/

Disallow: /*print

Disallow: /tags/

Disallow: /engine/

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=addnews

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=lastcomments

Disallow: /index.php?subaction=newposts

Sitemap: http://сайт.ру/sitemap.xml

Host: сайт.ру

User-agent: *

Disallow: /autobackup.php

Disallow: /getlink/

Disallow: /user/

Disallow: /favorites/

Disallow: /statistics.html

Disallow: /uploads/

Disallow: /newposts/

Disallow: /*print

Disallow: /tags/

Disallow: /engine/

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=addnews

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=lastcomments

Disallow: /index.php?subaction=newposts

Sitemap: http://сайт.ру/sitemap.xml

Я вообще ничего никогда не запрещаю. И меня не интересует позиция поисковика к дублям. Если пользователю нужны эти дубли - они будут на сайте, а запрещать для поисковика - это показывать ему, что вы скрываете что-то. Ранее те сайты, на которых много запрещалось - они были в итоге пессимизированы, заходили периодически под АГС, тяжело продвигались.

Совершенно разные вещи - запрещать тегами или просто не показывать. Я считаю, что лучше просто не показывать того, что не нужно.