robots.txt для vBulletin и WordPress

12
G
На сайте с 21.09.2007
Offline
16
1334

тут уже обращались с аналоигчной просьбой, но под другой двиг, поиск не дал результат для меня. Если имеются грамотно составленные и правильные с точки зрения индексации и безопасности файлы robots.txt, то буду премного благодарен если скинете сюда или в личку.

Логичный роботс с данного форума (с точки зрения под поисковики) не значит безопасный...предлагайте свои варианты.

ВП так и не освещен...

Заранее спасибо!

Набор в команду (http://forum.roycom.ru/showthread.php?t=21)
Web-Silver
На сайте с 02.05.2007
Offline
256
#1
Goddy:
Логичный роботс с данного форума (с точки зрения под поисковики) не значит безопасный

Что Вы имеете в виду?

WwWork
На сайте с 07.02.2006
Offline
150
#2

Просто закройте каталоги которые Вам не нужны, как минимум Админовские, и include's каталоги

+ фаилы которые не относятся к генерации контента, либо url которые не несут нагрузки (контакты, FAQ...)

Удачи.

iBBi
На сайте с 13.02.2007
Offline
323
#3

:)

Web-Silver
На сайте с 02.05.2007
Offline
256
#4

iBBi, так вот чем-то и не устроил ТС роботс с серча! ;) Я у него и интересуюсь почему)))

D
На сайте с 04.02.2006
Offline
139
#5

Для WordPress использую такой вариант:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin.php

Disallow: /xmlrpc.php

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

User-agent: Yandex

Host: www.site.ru

Disallow: /cgi-bin

Disallow: /wp-admin.php

Disallow: /xmlrpc.php

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Основной целью было - избавиться от дублирующегося контента на сайте.

На единственно верное решение естественно не претендую:)

G
На сайте с 21.09.2007
Offline
16
#6
Web-Silver:
Что Вы имеете в виду?

просто подгон для поисковиков не всегда означает невозможность использование гугл-хака, который до сих пор более чем действенен. Поэтому хотел спросить здесь, вдруг в безопасности движков тут разбираются помимо промо. Придется стучать на секлаб...что ж...

iBBi:
:)

читай внимательней.

Dozor:
Для WordPress использую такой вариант:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Host: www.site.ru
Disallow: /cgi-bin
Disallow: /wp-admin.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Основной целью было - избавиться от дублирующегося контента на сайте.
На единственно верное решение естественно не претендую:)

спасибо и за такой вариант...

IL
На сайте с 01.10.2007
Offline
59
#7

Goddy, на тебе пару ссылок по вп:

http://affiliatepool.info/vnutrenniaia-optimozatsia-wordpress/

http://affiliatepool.info/11-sposobov-uvelichit-poiskovy-traffik-na-bloge/

Почитай, хоть и старая, но очь полезная инфа.

d1ma
На сайте с 18.03.2007
Offline
102
#8

а зачем /feed закрывать?

D
На сайте с 04.02.2006
Offline
139
#9
d1ma:
а зачем /feed закрывать?

Как уже было сказано выше, чтобы избавиться от дублирующегося контента на сайте.

Особенно google любитель в первую очередь индексировать feed и выдавать его в выдаче при поиске, не думаю что кому-то это нужно. Поэтому лучше и закрыть сразу от индексации.

G
На сайте с 21.09.2007
Offline
16
#10

IkkonenLev, пасиб....будем пробовать.

Если подыщу или скомпилирую нормальные роботсы и по безопасности - выложу.

Алес канешн....иди разбери кто и за что минусы ставит. дибилизм анонимцев?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий