Правильный robots для WP

B
На сайте с 29.01.2007
Offline
141
614

Глянул у нескольких блогеров, у всех просмотренных было так:

User-agent: * Disallow:

А как правильно составить robots.txt для wordpress'a?

Т.е. закрыть ненужное?

AM
На сайте с 09.01.2007
Offline
467
#1

Нет разницы для какой cms вы создаете robots.txt

Посмотрите хотя бы тут /ru/news/144 статья по составлению этого файла.

I
На сайте с 11.01.2007
Offline
16
Irh
#2

Наверное примерно так:

User-agent: *

Disallow: */wp-admin/

Disallow: */wp-includes/

Disallow: */wp-content/

Disallow: /trackback/

Disallow: /cgi-bin/

Disallow: */wp-

O
На сайте с 02.06.2006
Offline
67
#3

На каком сайте вычитал не помню, но гуру оптимизации WP

предлагал вот такой более расширенный роботс

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /category/*/$
Disallow: /page/*/$
Disallow: /tag/*/$
Disallow: /stat-pages/*$
Disallow: /index.php?*$
Disallow: /*/wp-*.php$

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-images/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
B
На сайте с 29.01.2007
Offline
141
#4
oldvovk:
Disallow: /category/*/$
Disallow: /page/*/$

вот это смущает. получается ссылка site.ru/page/2 уже не будет индексироваться?

garamond
На сайте с 21.11.2006
Offline
84
#5

а Host: - теперь не модно использовать?:)

Я даже не представляю, что должен сделать мой сын, чтобы я ему сказал, что в молодости я себе такого не позволял.
O
На сайте с 02.06.2006
Offline
67
#6

А что смущает, ну да там отрубаются повторения страниц блога

в категориях и прочем для гугля. ))) А вообще это ж не догма, а

направление действия, а уж как действовать, каждый решает сам.

Ну если есть желание - используйте host , выделив блок для бота Яндекса, иначе яндексоид его не воспримет.Так к примеру.

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-images/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Host: основной урл сайта

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /category/*/$
Disallow: /page/*/$
Disallow: /tag/*/$
Disallow: /stat-pages/*$
Disallow: /index.php?*$
Disallow: /*/wp-*.php$

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-images/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
-=Илья=-
На сайте с 05.12.2003
Offline
222
#7

Правильный роботс - отсутствующий, лучше урлы сделайте неповторяющиеся.

O
На сайте с 02.06.2006
Offline
67
#8
лучше урлы сделайте неповторяющиеся.

WP на автомате повторит одну и ту же статью в сингл, в категориях

и разделах, в фидах да еще мало ли где. К одной статье соответственно поведут несколько урлов.

Поэтому, я так понял, и предлагался такой роботс.

-=Илья=-
На сайте с 05.12.2003
Offline
222
#9

Да. Потому урлу вообще нежелательно содержать какую-то информацию, помимо собственного id статьи.

Например www.wp.com/lazha/zapis1 - как правило, плохо кончается, а www.wp.com/zapis1 - вполне хорошо.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий