Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

-
На сайте с 17.01.2011
Offline
41
-tsp-
765

Добрый день.

Прошу посоветовать robots.txt для сателлита на WP.

Информации очень много, но хотелось бы сделать правильный выбор.

Прошу помощи и совета,в поиск не отправляйте.

Помогите сделать выбор либо предложите свой вариант,предлагаю на рассмотрение 3 варианта:

1.

User-Agent: *

Disallow: /jexr/

Disallow: /wp-content/

Disallow: /feed/

Disallow: /tag/

Disallow: /xmlrpc.php

Disallow: /sitemap.xml

Disallow: */feed

Disallow: */trackback

Sitemap: http:

User-Agent: Yandex

Disallow: /jexr/

Disallow: /wp-content/

Disallow: /feed/

Disallow: /tag/

Disallow: /xmlrpc.php

Disallow: /sitemap.xml

Disallow: */feed

Disallow: */trackback

Host: zavrab.ru

Sitemap: http:

2.

User-agent: Yandex

Disallow: /wp-admin*

Disallow: /archive/

Disallow: */trackback/

Disallow: */comments/

Disallow: */comment-page-*

Disallow: */page/

Disallow: /tag/

Disallow: /archive

Disallow: /page/

Disallow: */feed/

Disallow: /wp-includes*

Disallow: /category/

Disallow: /comments/page

Disallow: /*?s=

Disallow: /*&s=

Disallow: /trackback

Disallow: /*.html/feed

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/languages/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-content/upgrade/

Disallow: /*?*

Disallow: /*?

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Host: xxxxxxxxxxxx

User-agent: *

Disallow: /wp-admin*

Disallow: /wp-includes*

Disallow: /tag/

Disallow: /category/

Disallow: */comment-page-*

Disallow: */page/

Disallow: /archive/

Disallow: /tag/

Disallow: /page/

Disallow: */feed/

Disallow: /wp-includes*

Disallow: /comments/page

Disallow: /*?s=

Disallow: /*&s=

Disallow: /trackback

Disallow: /*.html/feed

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/languages/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-content/upgrade/

Disallow: /*?*

Disallow: /*?

Disallow: /wp-login.php

Disallow: /wp-register.php

Sitemap: http:

3.

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /tag/*

Disallow: /category/*

Disallow: /comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /?s=*

Sitemap: http:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /tag/*

Disallow: /category/*

Disallow: /comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /?s=*

Host: сайт.ru

Sitemap: http:

SA
На сайте с 17.02.2009
Offline
53
SmAVl
#1

1. Подобные темы уже были.

2. Ну раз уж поднял тему, то мне тоже интересно.

3. Ну и перед тем как копировать, попытался бы разобраться чем они различаются и что это вообще такое. А то накопировал.

4. Единственного правильного варианта нет, у всех по разному.

5. Тут надо понимать смысл и знать чего тебе нужно:

а) закрыть "дубли" контента от поисковика и ненужные страницы

б) закрыть то, что не нужно, но дубли оставить

в) сделать побольше страниц(скажем для сапы)

Почитай вот эту статейку, а из неё статейки по Robots.txt

Итак, мой вариант(который я использую, под вариант а)) Robots.txt для WordPress при настроенном ЧПУ:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag/
Disallow: /page/
Disallow: /author/
Disallow: /category/

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag/
Disallow: /page/
Disallow: /author/
Disallow: /category/
Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml
Дублирование записей в WordPress Robots.txt для WordPress Негативное влияние сапо-ссылок. Миф

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий