Грамотный robots.txt для яндекса

Я на joomla! работаю, всегда стараюсь закрыть дубли от индексации!

Можно посоветовать не открывать индексацию категорий и тегов, потому что за это яндекс банит, ему не нравится дублированный контент в пределах сайта.

Открыть для индексации страницы, содержащие дублированный контент не очень хорошая идея.

Если вас интересует увеличение трафика - попробуйте грамотно перелинковать страницы внутри сайта по тем же запросам, что вам интересны. Плагинов для этого много разных.

Лучше откройте категории, по ним хорошо продвигаются СЧ запросы, добавьте немного уникального контента на их страницы и все будет в шоколаде. А вот теги лучше действительно закрывать.

Да, artemovn, хорошо дополнил. Категории можно и открыть с добавлением описания категорий например, а теги вообще не трогать.

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /xmlrpc.php

Disallow: /wp-content/uploads

Disallow: /wp-content/themes

Disallow: /trackback/

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /xmlrpc.php

Disallow: /wp-content/uploads

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Host:

Sitemap:

*ну и дубли различные типа attache

всем огромное спасибо за ответы. Вопрос к artemovn,

а вы не подскажите каким образом можно сделать так, чтобы описания категорий отображались при заходе в них? Благодарю.

Подскажу, если это joomla, так как работаю предпочтительно в ней. На каком движке ваш сайт?

artemovn, нет..данный сайт выполнен на wordpress.

Дополнил свой вариант и получил на выходе вот это:

User-agent: *

Disallow: /trackback/

Disallow: /wp-content/uploads

Disallow: /wp-register.php

Disallow: /wp-login.php

Disallow: /archives/

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/cache

Disallow: /category

Disallow: /comments

Disallow: /search/

Disallow: /xmlrpc.php

Disallow: /cgi-bin

Disallow: /tag/

Disallow: /wp-admin

Sitemap:

Host:

User-agent: Yandex

Disallow: /trackback/

Disallow: /wp-content/uploads

Disallow: /wp-register.php

Disallow: /wp-login.php

Disallow: /archives/

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/cache

Disallow: /category

Disallow: /comments

Disallow: /search/

Disallow: /xmlrpc.php

Disallow: /cgi-bin

Disallow: /tag/

Disallow: /wp-admin

Sitemap:

Host:

Архивы закрывать только в том случае если это действительно нужно.

У меня вообще следующий robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /wp-content/cache/

Disallow: */trackback

Disallow: /trackback

Disallow: /feed

Disallow: */feed

Disallow: /*feed

Disallow: /comments

Disallow: */comments

Disallow: /*?

Disallow: /*?*

Disallow: /?*

Disallow: /category/

Disallow: /tag/

Disallow: /?s=

Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /wp-content/cache/

Disallow: */trackback

Disallow: /trackback

Disallow: /feed

Disallow: */feed

Disallow: /*feed

Disallow: /comments

Disallow: */comments

Disallow: /*?

Disallow: /*?*

Disallow: /?*

Disallow: /category/

Disallow: /tag/

Disallow: /?s=

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Но если честно из высказываний так и не понял открывать ли категории или же нет)