Оцените пожалуйста robots.txt (WordPress)

Ставьте в начале -

User-Agent: *

Allow: /wp-content/uploads/

...........

и смело закрывайте -

Disallow: /wp-content

_________

этим вы сократите несколько строк.

Строки -

Disallow: */feed

Disallow: /feed

можно заменить одной строкой -

Disallow: /*feed

_________

этим сократите пару строк

И я не уверен имеет ли значение что Host: должно идти в новом блоке (т.е. через пропущенную строку после User-agent блока)

_________________

Мой robots.txt

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /archive --------- !!! (зависит от структуры ссылок, у меня можно закрыть)

Disallow: */trackback/

Disallow: */comments/

Disallow: /*feed

Disallow: /?feed=

Disallow: /?s=

Host: **********

Sitemap: http://**********/sitemap.xml

Сделал корректировки, вот что получилось:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content

Disallow: /*?

Disallow: /xmlrpc.php

Disallow: /*trackback

Disallow: /*feed

Disallow: /*comments

User-agent: Yandex

Allow: /wp-content/uploads/

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content

Disallow: /*?

Disallow: /xmlrpc.php

Disallow: /*trackback

Disallow: /*feed

Disallow: /*comments

Host: •••

Sitemap: •••

Теперь лучше?

Отпишитесь кто нибудь ещё пожалуйста...

P.S.

PrizZzrak

Что значат строки: ?

Disallow: /?feed=

Disallow: /?s=

И обязательно ли закрывать: ?

Disallow: /wp-login.php

Disallow: /wp-register.php

P.S.

Так где лучше писать Host: ?

Сам ищу правильного робота для вордпресса. Чтобы не осталось дублей.

Первый вариант в посте тоже нашел в инете, вроде как все довольны были

Первый вариант немного изменен мной. По тому-то и создал эту тему. Чтобы опытные, вебмастера подсказали, что не так...

Использую такой, проблем нет

User-agent: *

Disallow: /cgi-bin/

Disallow: /blog/wp-admin/

Disallow: /blog/wp-includes/

Disallow: /blog/wp-content/plugins/

Disallow: /blog/wp-content/cache/

Disallow: /blog/wp-content/themes/

Disallow: /blog/wp-login.php

Disallow: /blog/wp-register.php

Disallow: /blog/author/

Disallow: /blog/category/

Disallow: /blog/page/

Disallow: /blog/tag/

Disallow: /blog/?feed=

Disallow: /blog/?s=

Disallow: /blog/xmlrpc.php

Disallow: /blog/*comments

Disallow: /blog/*trackback

Disallow: /blog/*feed

а для чего дублировать дисаллоу для яндекса, если первоначально указаны правила для всех пс? и что означает строка

Disallow: /*?

Из всех рекомендаций собрал такого робота для вордпресса:

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /author/

Disallow: /category/

Disallow /tag/

Disallow: /page/

Disallow: /?feed=

Disallow: /?s=

Disallow: /xmlrpc.php

Disallow: /*comments

Disallow: /*trackback

Disallow: /*feed

Поправьте, что не так? все дубли закрыты?

Здравствуйте. Такой вопрос, а tag и category обязательно закрывать ? Они же для продвижения очень удобны.

Инструкция Allow поддерживается недавно. Не стал бы ее использовать.