Robots.txt для WP. Подскажите правильно ли я сделал?

L
На сайте с 17.05.2013
Offline
88
307

Вот мой роботс. Подскажите правильно ли я его составил. Что можно бы еще закрыть?

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /cache

Disallow: /page/

Disallow: /services // Раздел на сайте с копипастом

Disallow: /lost-password // Страница напоминания ппароля

Disallow: /registration // Регистрация

Disallow: /profile // Страница профиля

Disallow: /author

Disallow: /favorite_posts // Закладки

Disallow: /polls-archive // Архив голосований

Disallow: /feedback // Форма обратной связи

Disallow: /tag/ // Теги

Disallow: /feed/

Disallow: */*/feed/*/

Disallow: */feed

Disallow: */*/feed

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /*?

Disallow: /*?*

Disallow: /?s=

Disallow: /*.php

Sitemap: http://site.com/sitemap.xml.gz

Sitemap: http://site.com/sitemap.xml

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /page/

Disallow: /tag/

Disallow: /feed/

Disallow: */feed

Disallow: */*/feed/*/

Disallow: */*/feed

Disallow: /*?*

Disallow: /*?

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /search/*/feed

Disallow: /search/*/*

Disallow: /tag/

Allow: /wp-content/uploads/

Host: site.com

ZoomY
На сайте с 07.11.2008
Offline
165
#1

Скажите пожалуйста, а для чего вы закрываете /tag/?

(Вопрос без иронии, интересна аргументация.)

Размещу ваши статьи на сайтах с тИЦ до 1400 по 5$ (/ru/forum/846111) Сейчас многие ищут хостинг за пределами России. Ukrnames - один из лучших вариантов: (http://ukrnames.com/?ref_id=114) и лидер рынка, и привычно, и по-русски, и вне юрисдикции РФ.
M
На сайте с 02.07.2010
Offline
97
#2

Правильный, сам такой использую.

Appassionato
На сайте с 22.06.2010
Offline
328
#3
ZoomY:
Скажите пожалуйста, а для чего вы закрываете /tag/?

Исключить дубли, много дублей.

Хостинг Работает, как Часы ( http://tinyurl.com/nze85xw ). Проверено за 11+ лет.
ZoomY
На сайте с 07.11.2008
Offline
165
#4

Appassionato, при этом Яндекс отлично их все ест и нормально всё ранжирует, иногда выдавая по специфическим запросам именно связку наличие превьюшек текущих статей по тегу + тег.

Хотя наверное склоняюсь таки к тому, чтобы тоже закрывать.

G-and-Y
На сайте с 29.06.2013
Offline
185
#5

http://alaev.info/blog/post/4143

Имхо такой лучше ибо длинный роботс это ни есть хорошо а метатег для гугла в самый раз.

Абузо-устойчивые впс ( http://vps-hosting.lv/?p=13408 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий