Поддкоректируйте правильность robots.txt на вордпресс

Disallow: /wp-content/ 🙅

и Disallow: /category тож не стоит

и аллов уберите

Успешной индексации:)

ЗЫ. есть методы, чтобы урать /category /*comments ... ищите, в инете море решений.

на многих успешных блогах видел такую форму

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

лучше прописать как у них? не всё ли равно с моим Disallow: /wp-content ?

---------- Добавлено 05.03.2013 в 13:34 ----------

а если категории не убирать, части текста будут дублироваться с основными страницами -статьями, или нет?

У меня на сайте проблем с индексацией нет:

User-agent: *

Allow: /wp-content/uploads

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /tag

Host: xxxxxxxxx.xx

Sitemap: http://xxxxxxxxx.xx/sitemap.xml

спасибо, но честно-говоря, хотелось бы услышать ошибки в своём..надоело уже менять как у других,- потом новый совет, и опять меняешь.кстати, сколько примерно нужно ждать результаты после смены роботса, статьи добавляются через день, блугам по 3 месяца, ссылки по чуть-чуть подкупаю

Объясните смысл блокировки

Disallow: /wp-admin

Неавторизованный агент туда не зайдет. Получит редирект на wp-login.php или 403.

сам слабо понимаю, что сделал..нуб в этих делах, поэтому и спрашиваю. но вариант

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

видел на многих серьёзных блогах. так что скажите, поменять на такой?или вообще убрать строку?

Давайте подумаем вместе, меня тоже этот вопрос заинтересовал.

Служебные папки нет смысла добавлять в robots.txt

Их необходимо закрыть правами на папку. Попытка зайти в /wp-content/plugins/ должна отдавать пустой файл index.php - по умолчанию в вордпрессе он есть везде, либо 403 ошибку.

Лично я добавил правило редиректить 403 на 404 - оно у меня логируется.

Что следует добавить в роботс?

В первую очередь дубли.

Disallow: */feed # rss-лента

Disallow: */comments # комментарии

Disallow: /*?* # любая генерирующая страница - к примеру поиск, файл приложения либо короткие ссылки вордпресс /?p=818

Disallow: /tag/ # метки

понял, спасибо, так что стоит убрать из моего роботса?

Достаточно оставить те 4 строки, которые я написал. Остальные лишены смысла

если лишены смысла, это не существенно, если мешают индексации-вот это плохо=)-вотт такие и ищу)