Робот.txt для Wordpress

Для папок правильно, но я все же присмотрелся бы к варианту предложенному Spirits, чтобы убрать всякую лишнюю муть вроде rss фидов, пагинации комментариев и т.п., вызывающую только дублирование контента.

Spirits, извиняюсь за оффтоп, но вот это -

Disallow: /*?

Disallow: /*?*

две равнозначные конструкции, знак * в конце правил и так "как бы есть", так что он избыточен :)

---------- Добавлено 25.10.2013 в 14:26 ----------

А в чем проблемы? HTTP/1.1 200 OK

это тупо копипаститься с 100500 говноблогов вот уже лет 5 как минимум :)

И не перестанет в обозримом будущем.

Равно как и не исчезнет идиотский вопрос "правильный роботс.txt для Wordpress\джумла\друпала\етс". Печалька..

А похоже у вас вот такая хрень - /ru/forum/819957

посмотри исходный код и кодировку. Сравни с прямым заходом по урлу.

АПД. Код уже исправился. Было вот это

Кодировка - нет.

Да вроде ок, роботс отдается у меня правильный, но я выше ссылку кинул и ТС на первой еще странице отписал, что ему в я.вебмастере показывается.

Видимо раз на раз не приходится и вылезает что-то левое периодически.

Проадетил пост выше.

---------- Добавлено 25.10.2013 в 13:39 ----------

А тут через 3 раза :)

Походу с хостером траблы. Да, тоже самое что и в соседнем топике. Посмотрим - тот же хостер или нет (если ТС того топика ответит на мой вопрос)

Так не правильно!

Правильно: vperdolit-krasivoy-blondinke.html

Суть роботс - исключить нежелательное и дубли. У меня так:

Disallow: /tag/

Disallow: /category/

Disallow: */feed

Disallow: /*?*

Ни разу не видел, чтобы поисковик выдавал в индексе файлы плагинов или тем.

удаленно...

С точки зрения стандарта транслитерации неправильно, а с точки зрения случая - всякое бывает, это был просто пример. :)