Форум Практика оптимизации Общие вопросы оптимизации

robots.txt

1 234
O
На сайте с 06.05.2009
Offline
51
olg
#31

А вот эта часть в вышеописанном роботсе точно правильная? А то одна буквочка смущает.

# digg mirror
User-agent: duggmirror
Disallow: /

У меня такой роботс для Вордпресса используется.. 


User-agent: *

Disallow: /redirect/

Disallow: /author/

Disallow: /wp-admin/

Disallow: /wp-includes

Disallow: /category/

Disallow: /category/*/*

Disallow: /page/

Disallow: /?feed=

Disallow: /?s=

Disallow: /xmlrpc.php

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: */comments

Disallow: */comment-page*

Disallow: /*trackback

Disallow: /*feed

Disallow: /author*

Disallow: /*?*

Disallow: /*?

Disallow: /?*

Disallow: */feed

Disallow: /feed

Disallow: */trackback

Disallow: /tag/*/page

Host: УРЛ_САЙТА
Биржа копирайтеров (http://www.etxt.ru/?r=riptor) - где я заказываю контент.
BlogoWest
На сайте с 08.10.2010
Offline
52
BlogoWest
#32
# digg mirror
User-agent: duggmirror
Disallow: /

Да, тут всё правильно.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий