Форум Сайтостроение Веб-строительство

robots.txt для vBulletin и WordPress

12
Wrecks
На сайте с 22.09.2007
Offline
37
Wrecks
#11
Dozor:
Для WordPress использую такой вариант:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Host: www.site.ru
Disallow: /cgi-bin
Disallow: /wp-admin.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Основной целью было - избавиться от дублирующегося контента на сайте.
На единственно верное решение естественно не претендую:)

Я для WP еще добавляю

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes

Disallow: /index.php?s=

Disallow: /wp-content/uploads

Ну и если роботы кушают много траффа можно еще и так

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Живём как положено, а положено у Нас на ВСЁ!
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий