Вопрос по robots.txt

12
zex2
На сайте с 04.05.2009
Offline
109
810

Всем доброго времени. Киньте пожалуйста "правильный" роботс для вордпресса на котором изменена структура постоянных ссылок на /%postname%. А то в индекс лезут метки и им подобная нечесть.

Заранее большое спасибо.

S5
На сайте с 02.10.2006
Offline
83
#1

а что мешает закрыть метки в robots.txt например?

zex2
На сайте с 04.05.2009
Offline
109
#2
SNEG55:
а что мешает закрыть метки

Поэтому и прошу роботс. До недавнего времени была обычная структура ссылок, потом поменял. Естественно теперь роботс должен быть построен по другому. То, что нужно закрыть метки, так это я и без вас знаю, поэтому и прошу помощи.

[Удален]
#3

Вообще не обращай на robots.txt внимания. Поисковики так задротов ищут! Веди блог без плагинов для robots, sitemap и прочей херни.

zex2
На сайте с 04.05.2009
Offline
109
#4
Spas Base:
Вообще не обращай

Это вы бабушке соседской расскажете, ага? ;)

TaediumVitae
На сайте с 22.09.2011
Offline
41
#5
zex2:
Естественно теперь роботс должен быть построен по другому

С чего бы это?

ilux
На сайте с 11.07.2009
Offline
371
#6

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /trackback

Disallow: /feed

Disallow: /rss

Disallow: */trackback

Disallow: */feed

Disallow: */rss

Disallow: /xmlrpc.php

Disallow: /author*

Disallow: */comments

Disallow: */comment-page*

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

🎄 Мой блог и тест пуш партнерок в реальном времени -> https://t.me/seo2007
TaediumVitae
На сайте с 22.09.2011
Offline
41
#7

ilux, а теги?)

ilux
На сайте с 11.07.2009
Offline
371
#8
ilux, а теги?)

Я теги не ставлю на одном сайте , а на другом не закрываю.

Но вообще для нового действительно нужно закрыть теги.

ZK
На сайте с 07.12.2010
Offline
52
#9
ilux:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
Disallow: /author*
Disallow: */comments
Disallow: */comment-page*
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-

Disallow: /*trackback

Disallow: /*feed

Disallow: /*rss

Disallow: /xmlrpc

Disallow: /author

Disallow: /*comments

Disallow: /*?

Allow: /wp-content/uploads

Host: site.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-

Disallow: /*trackback

Disallow: /*feed

Disallow: /*rss

Disallow: /xmlrpc

Disallow: /author

Disallow: /*comments

Disallow: /*?

Allow: /wp-content/uploads

Sitemap: http://site.ru/sitemap.xml

Поясняю: директиву Host понимает только яндекс, для него и пишем,

в конце sitemap - общий

Это одно и то же:

Disallow: /*?*

Disallow: /*?

!Элитные Индивидуальные Прокси в одни руки HTTP(s)\SOCKS5 (/ru/forum/924689)
romon
На сайте с 07.11.2006
Offline
104
#10

+ добавить:

Disallow: /tag

На хорошем сайте, ничто не должно отвлекать от рекламы :)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий