Art-n1

Smiritel:
Так вот, оказывается, как из-под фильтра нужно сайты выводить. А тысячи людей тут головы ломают... 😂

kimberlit:
Что сделал? Закрыл полстраницы с помощью роботс? Молодец.

Зы. И не читай пост №6. Забей.

Зы 2. И свои урл не показывай, а то помогут...

learnchik:
Моя запись в роботс выглядет следующим образом (вырезка):

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /cgi-bin
Disallow: *?s=
Disallow: /*?*

Ссылки типа ?s= закрывают в том случае, если реально на сайте ссылки выглядят так: http://name.ru/index/ то есть использовался плагин ЧПУ. В этом страница становится доступной по новому адресу http://name.ru/index/ и по старому ?s= получается дубль.

Klavdiy:
comments генерирует свою страницу с префиксом #comment-. Она полный дубль страницы основного поста. А о дублированных страницах уже не раз здесь писали, что это зло.

Disallow: /page
Disallow: /tag
Это на усмотрение, кому как удобно. Остальное вроде как по мне нужное дело.

Klavdiy:
comments генерирует свою страницу с префиксом #comment-. Она полный дубль страницы основного поста. А о дублированных страницах уже не раз здесь писали, что это зло.

Disallow: /page
Disallow: /tag
Это на усмотрение, кому как удобно. Остальное вроде как по мне нужное дело.

Klavdiy:
У меня вот такой

User-agent: *
Disallow: /cgi-bin
Disallow: /page
Disallow: /tag
Disallow: /author
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /comments
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Disallow: /search/
Disallow: /xmlrpc.php?rsd
Host: мой сайт


Disallow: /page это по надобности. Если не пишете страницами, а постами, то имеет смысл закрыть, так как у Вордпресса много навигационных странниц вида мойсайт/page/номер/. Хотя, этот вопрос спорный, но для СДЛ я такое использую. Такой роботс стоит на сайтах от 10 000 уников и выше, и стоит более 4 лет и все нормально.

Sitemap добвляю в панели вебмастера, в роботсе не использую