Вопрос по Robots.txt

F
На сайте с 25.05.2007
Offline
2
429

Подскажите плизз Будет ли такой robots.txt правильным ?

К примеру:

User-Agent: Yandex

Disallow: /folder/

User-agent: StackRambler

Disallow: /folder/

User-agent: Googlebot

Disallow: /folder/

User-Agent: *

Disallow: /

Данным robots.txt я запрещаю Яндексу Рамблеру и Гуглу индексировать содержимое папки /folder/ но разрешаю индексировать всё остальное?

Для всех остальных ботов ( естественно для тех кто слушается robots.txt ) я запрещаю

индексацию всего сайта?

Поправьте меня если я чтото напутал.

Боюсь ошибится. Смущает то, не запрещу ли я последней строкой индексацию сайта Яндексу Рамблеру и Гуглу?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Всё правильно. Если робот указан отдельно, то он не попадает под *.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий