Форум Сайтостроение Веб-строительство

Грамотный robots.txt для Wordpress

12
afonsky
На сайте с 07.01.2007
Offline
123
afonsky
6990

Ребята и девчата, нужен совет по грамотному заполнению robots.txt для сайта на движке Wordpress.

У кого какой опыт и какие есть предложения на этот счет? Спасибо!

Лучший Абузоустойчивый хостинг (https://cp.inferno.name/aff.php?aff=986)
stundr
На сайте с 19.06.2008
Offline
201
stundr
#1
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /?tag=*
Disallow: /?cat=*
Disallow:/?feed=atom
Disallow:/?feed=comments-rss2
Disallow:/?feed=rss
Disallow:/?feed=rss2
Disallow:/xmlrpc.php?rsd
Disallow: */trackback/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /?tag=*
Disallow: /?cat=*
Disallow:/?feed=atom
Disallow:/?feed=comments-rss2
Disallow:/?feed=rss
Disallow:/?feed=rss2
Disallow:/xmlrpc.php?rsd
Disallow: */trackback/
Host: site.com

плюс карту сайта добавьте

=^_^=
afonsky
На сайте с 07.01.2007
Offline
123
afonsky
#2
stundr:
плюс карту сайта добавьте

Благодарю ;)

hexacell
На сайте с 10.12.2010
Offline
65
hexacell
#3

можно так: 

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /xmlrpc.php

Disallow: /comments

Disallow: /*?*

Disallow: /*?

Sitemap: http://site.com

Можете почитать еще на досуге вот это.

overnight
На сайте с 23.05.2008
Offline
262
overnight
#4

Не знаю уж насколько грамотный: 

User-agent: Mediapartners-Google*

Disallow:



User-agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag/

Disallow: /page/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /?p=

Disallow: /?tag=

Host: ******.ru

Sitemap: http://******.ru/sitemap.xml



User-agent: Slurp

Disallow: /



User-agent: Yahoo! Slurp

Disallow: /



User-agent: MSNBot

Disallow: /



User-agent: Teoma

Disallow: /



User-agent: Scooter

Disallow: /



User-agent: ia_archiver

Disallow: /



User-agent: Lycos

Disallow: /



User-agent: WebAlta 

Disallow: /



User-agent: WebAlta Crawler/2.0

Disallow: /

Первые две строчки для adsense, если его нет — они не нужны.

[Удален]
#5

тоже интересует данный вопрос, у меня такой вот, правильно или надо что то добавить ?

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /category

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

User-agent: Yandex

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /category

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Host: www.site.net

Sitemap: http://www.site.net/sitemap.xml

A2
На сайте с 17.11.2009
Offline
52
asmakovec2
#6

вот такого вполне достаточно

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /category

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Host: www.site.net

Sitemap: http://www.site.net/sitemap.xml

AI
На сайте с 17.05.2011
Offline
38
anti_iq
#7

А зачем закрывать от ботов комментарии (Disallow: */comments/)?

прикольные флеш игры ))) (http://game-time.net)
RR
На сайте с 16.08.2011
Offline
1
RomkR
#8

Disallow: /*?*

Disallow: /*?

- еще нужно прописать.

RomkR добавил 24.09.2011 в 16:46

Disallow: /cgi-bin

Disallow: /author

Disallow: /*?*

Disallow: /*?

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /xmlrpc.php

Disallow: /page*

Allow: /wp-content/uploads

Host: ******

Sitemap: ****

вот еще пример

RIW 2010: «Автоматизация анализа Александр Садовский на NetPromoter Роман Мандрик Вирусный маркетинг:
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
RomkR:
Disallow: /*?*
Disallow: /*?

- еще нужно прописать.

Чем эти строчки отличаются?

O
На сайте с 25.04.2011
Offline
55
Osi
#10
overnight:
Не знаю уж насколько грамотный: 
User-agent: Mediapartners-Google*

Disallow:

Первые две строчки для adsense, если его нет — они не нужны.

Что означает эта строка?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий