Robots.txt для wordpress

variousmetal
На сайте с 10.12.2009
Offline
71
317

Доброго времени суток, подскажите правильно ли мне составили robots.txt с учетом его характеристик?

User-agent: Yandex

Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: rusarticles.su

User-Agent: MJ12bot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://rusarticles.su/sitemap.xml
Белый каталог статей (http://rusarticles.su/)
melkozaur
На сайте с 06.04.2010
Offline
536
#1

Зависит от того, какой сайт.

variousmetal
На сайте с 10.12.2009
Offline
71
#2

melkozaur, хотелось удалить все дубли. Но ничего лишнего не закрыто. Сам ресурс это каталог статей

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий