Форум Сайтостроение Веб-строительство

Robots на вордпрес

V
На сайте с 16.12.2010
Offline
132
Vistaa
608

Как составить правильно robots.txt на вордпрес 3, помогите пожалуста.

Y
На сайте с 22.01.2008
Offline
54
yTko
#1

http://bit.ly/hY9Uh0

Free-lance: yTko (free-lance.ru/users/yTko/) Это мой brute (http://kocou.ytko.mybrute.com). А где твой?
Hixon10
На сайте с 21.08.2010
Offline
125
Hixon10
#2 

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /archive
Disallow: /category
Host: domain.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /archive
Disallow: /category

Sitemap: http://domain.ru/sitemap.xml
Веду свой невзрачный блог (http://hixon.ru/).
V
На сайте с 04.08.2008
Offline
81
vladno
#3

А зачем одни и те же правила прописывать отдельно для Яндекса? Я не оспариваю, я спрашиваю. Есть ли необходимость в этом?

Порядочность прежде всего Лечение заболеваний (http://medpain.net/)
DocWeb
На сайте с 23.04.2007
Offline
101
DocWeb
#4

вот это не забудьте

Disallow: /author

на связи, практически онлайн. почта для связи - dlya-svyazi @ list.ru °¤•Џ•¤° Бери ношу по себе, чтоб не падать при ходьбе (с) "Брат"
C
На сайте с 27.12.2007
Offline
100
Chyvak
#5
vladno:
А зачем одни и те же правила прописывать отдельно для Яндекса? Я не оспариваю, я спрашиваю. Есть ли необходимость в этом?

Потому что директиву Host, вроде как, только Яша понимает... чтобы не "смущала" она остальных роботов.

V
На сайте с 16.12.2010
Offline
132
Vistaa
#6
DocWeb:
вот это не забудьте

Disallow: /author

Еще добавить Disallow: /author и все? и они для всех одинаковы ? Спасибо всем .

Y
На сайте с 22.01.2008
Offline
54
yTko
#7

Анонимус, помни: можешь хоть в -100500 меня завести, но это лишь поощряет создание подобных тем, ответ на который можно получить с 1 страницы любой поисковой системы и/или с 1 страницы поиска по форуму.

И имейте совесть, подписывайтесь! Или же Вам так стыдно, что у Вас где-то чешется? :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий