Вопрос по robots.txt

U
На сайте с 09.04.2009
Offline
33
540

Здравствуйте, интересует корректно ли я составил robots.txt? Сайт на wordpress цель - исключить из индекса поисковиков все дубли страниц. Особенно интересует стоит закрывать от индексации страницы ленты в блоге Disallow: /?paged= :confused: Так как пробежавшись по некоторым популярным блог заметил что они не закрывают индексацию ленты.

Пример robots.txt

User-agent: Yandex

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /?paged=

Disallow: /?page_id=202

Disallow: /?cat=

Disallow: /?m=

Disallow: */trackback/

Disallow: */feed/

Disallow: /?feed=

Disallow: /?s=

Disallow: /plugins

Host: site.com

Sitemap: http://site.com/sitemap.xml

User-agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /?paged=

Disallow: /?page_id=202

Disallow: /?cat=

Disallow: /?m=

Disallow: */trackback/

Disallow: */feed/

Disallow: /?feed=

Disallow: /?s=

Disallow: /plugins

Host: site.com

Sitemap: http://site.com/sitemap.xml

Microsd
На сайте с 26.05.2010
Offline
47
#1

Не вижу никаких ошибок

[Удален]
#2

А по поводу того как поисковик должен увидеть сайт с ввв или без - не пропустили строку?)

U
На сайте с 09.04.2009
Offline
33
#3
Zeniagromoff:
А по поводу того как поисковик должен увидеть сайт с ввв или без - не пропустили строку?)

Host: site.com

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий