Wordpress: к чему запретить доступ роботам?

Куча блогов с дубликатом контента в рубриках и архивах в топе, и ничего. Лишняя перелинковка не помешает, благо такой способ проверен временем.

Allow: /wp-content/uploads

Disallow: /wp-

Disallow: /?

Disallow: /xmlrpc.php

В uploads храняться в том числе картинки, их разрешаю.

Allow: /wp-content/uploads
Disallow: /wp-
Disallow: /?
Disallow: /xmlrpc.php

А как насчет?

Disallow: /feed/

Даже лучше вот так: Правильный robots.txt для WordPress

У себя в robots.txt прописал следующее:

Disallow: /feed/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /comments/

Disallow: /images/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?feed=

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Может не совсем правильно составлен, но по крайней мере проблем с индексацией нет. Все что нужно в индексе, остального нет

Вообще меня интересует - почему в большинстве руководств рекомендуют закрывать для индксации теги и категории?

У авторов спросите :) Я не рекомендую закрывать. Бот не дурак, разберется.

в тегах и категориях на первых этапах блога идёт дублирование контента и блог пессимизируют ПС.

кстати в all in seo pack'e, есть возможность закрыть от индесации категории, архивы и теги, в настройках

C каких пор роботсы для движков рассматриваются в рубрике поисковые технологии?

У каждого свой правильный.

Спасибо за желание помочь, но я это и так знаю. 🍻

Вопрос - стоит ли? Я думаю так, если для вывода в категориях используются снипеты - закрывать не стоит. Теги же стоит закрыть. Кто за, кто против? Вопрос то очень интересный по сути.

а потом что-то меняется?