Искорени дубли страниц при помощи robots и htaccess

ИМХО, это никак не сделать.

ps. что интересно - вдруг неожиданно темы такие стали актуальны.

Это печально настолько, что я в это не очень верю. Прошу не разводить демагогию на счет тенденции тем по закрытию дублей, я просто не знал что они есть изначально, не более и не менее того.

Может фишка из дле чем то может вам помочь

Поставить можно, но редирект будет со ВСЕСХ страниц со слэшем и без (для файлах и каталогах будет исключение). Если на сайте есть страницы в стиле /category/ редирект не подойдет

RewriteEngine On

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^.]+)(?<!/)$ /$1.html [R=301,L]

В вду такого нету

Disallow: /*/$

Аллоха!

Хостер откликнулся на мою просьбу:

RewriteEngine On
#RewriteCond %{REQUEST_URI} (.*\/[^\.]+)\/$
#RewriteRule ^(.*)$ $1.html [R=301,QSA,L]
RewriteRule ^(.*)/$ $1 [L]

RewriteCond %{HTTP_HOST} ^site\.org$ [NC]
RewriteRule ^(.*)$ http://www.site.org/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://www.site.org/ [R=301,L]


#RedirectMatch (.*)\/$ http://www.site.org/$1

RewriteCond %{REQUEST_URI} (.*\/[^\.]+)($|\?)
RewriteRule ^(.*)$ $1.html [R=301,QSA,L]

Теперь все страницы и "со слешем" и "без него" автоматически редиректятся на ".html"

Теперь и в robots закрывать ничего не нужно.

Уверен, что еще пригодится это не только мне. Пользуйтесь на здоровье.

Спасибо kimberlit и siv1987 за ответы.

В своем примере выше немного ошибся, там редирект только страниц без слэша.

RewriteEngine On

RewriteCond %{HTTP_HOST} ^site\.org$ [NC]

RewriteRule ^(.*)$ http://www.site.org/$1 [R=301,L]



RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html)\ HTTP/

RewriteRule ^index\.(php|html)$ http://www.site.org/ [R=301,L]



RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^.]+)/?$ /$1.html [R=301,L]