robots.txt для Wordpress?

как вам надо... 🤪

Ниче, уроки кончились?

Не может быть универсального роботса!

Достаточно понимать что это за файл и для чего, что бы постичь простую истину:

+150!

Раз ты тут, то наверное да, трусливый анонимус. :)

---------- Добавлено 11.11.2013 в 16:43 ----------

Host - он только яндексом выдуман ;)

И смысл делать одинаковыми 2 секции?

SeVlad, даже если и нет универсального, наверное есть же такой что подойдет любому - что бы лишнее закрыл, но только лишнее.

Боюсь намудрить, что Яндекс все перестанет индексировать.

Попробовал сделать нечто среднее из того что писали выше:

User-Agent: *

Allow: /wp-content/uploads

Disallow: /wp-

Disallow: /cgi-bin

Disallow: /feed

Disallow: /page

Disallow: /tag

Disallow: /category

Disallow: /author

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?

Host: site.ru



Sitemap: http://site.ru/sitemap.xml

На самом деле вариантов в сети просто огромное к-ство. В поиске вбейте и поищите, там и рекомендации есть и примеры чистейшого robots.txt лдя двига WP.

Ещё раз.

Кому-то /category будет лишнее, а кто-то двигает и эти страницы (у него такое ЧПУ).

Не андестент?

Роботс - не для движка, а для сайта. А у каждого сайта разные урлы.

А нюанс ВП состоит в том, что по дефолту он генерит каноникал, но ещё и разные СЕО-плаги (у каждого по разному настроенные) могут корректировать возможности индексации.

Для того что бы ты сам поборолся со своими страхами (а не доверял непонятно кому) - у яши есть инструмент