Вопрос по роботс.тхт

Не согласен, рамблер например нападает на сайт как бешеный, а понимает только старый синтаксис robots.txt.

могу говорить только из собственного опыта - не замечал.

Просто я не использую цмсок на базе мускула, ну и естественно ко-локейт, посему нагрузка от ботов меня очень мало волнует. Она составляет не более 2-3% от посетителей...

Но такой тупой слава богу только бот рамблера.

Здравствуйте.

Не буду создавать очередную тему, здесь спрошу.

Допустим, на сайте установлен форум — saite.ru/forum/. Меня интересует, как строить robots. Он же должен быть один, в корне, так?

Например, мне нужно закрыть профиля в форуме от индексации. Как это будет выглядеть?

Мой вариант:

User-agent: *

Disallow: /forum/member/

Верно? Слеш в конце нужен?

А что, второй сайт получился? Один.

Кто же знает какие у тебя урлы формируются?

kimberlit, ну я почему и спрашиваю, до этого не сталкивался особо. Вообще на сайте несколько cms, по каталогам раскинуты.

Форум — булка (vBulletin), как и Серч. С урлами-то я разберусь, но больше волнует — не закроет ли такая конструкция (Disallow: /forum/member/) вообще весь форум от индексации?

Она закроет все урл, которые начинаются на сайт.ру/forum/member/

Не прошло и пол года)

А что означает конструкция без слеша в конце, например:

Disallow: /forum/member

И что означают звездочки, типа:

Disallow: */feed

Закроются все урл, которые начинаются на /forum/member

Любой набор символов. Читай первоисточники.

http://help.yandex.ru/webmaster/?id=996567