Robots.txt для WordPress

Плагин all in one seo

есть, установлен, но не помогает, может не правильно настроен?...

Не знаю как для вашего вордпресса, но для джумлы существуют компоненты ЧПУ, одной из функция которых является склейка урлов. Т.е. создаётся один красивый человекопонятный урл, а все дубли редиректятся на него. Уверен, что для ВП есть аналогичные модули/плагины/компоненты.

Потом только ручками по маске закрыть в роботсе и будет вам красота.

Либо в .htaccess самостоятельно сделать желаемый редирект, а потом прикрыть в роботсе лишнее.

А вообще вопрос для ветки новичков)

Нафига уйму? Нужно просто правильный.

Dwarfik, я тебе больше скажу - у ВП вообще нет полных дублей. Единственный дублирующий адрес - это "короткий" при включении ЧПУ. Но он отдаёт 301. Так что в ПС не попадает.

Дубли о которых плачется ТС - это дублированный контент на страницах рубрик, архивов и тп. Достаточно их закрыть (если они не нужны) и будет счастье.

Принципиально не буду давать готовые решения. Мы как никак на форуме поисковых систем

Попробуйте так, как здесь: http://wp-voprosov.net/robots-txt-dlya-wordpress.html

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

 

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: site.ru

 

Sitemap: http://site.ru/sitemap.xml

и не поможет. Гугл, мягко говоря, игнорирует robots.txt. Более-менее (т.е. тоже без вероятности в 100%) помогают плагины аля Олл-ин-сео или ручное добавление <meta name="robots" content="noindex, nofollow" /> там где надо.