Форум Сайтостроение Веб-строительство

Нужно ли указывать 3 директивы в robots.txt

NL
На сайте с 14.12.2007
Offline
99
NewLine
445

Добрый день.

У меня сейчас в robots.txt написано вот так:

User-agent: *

А на другом сайте вот так:

User-agent: Yandex

User-agent: Googlebot

User-agent: *

Подскажите, как правильно.

Спасибо.

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#1

Первый. Второй бессмысленный, хотя вроде бы такой синтаксис разрешается.

WebAlt
На сайте с 02.12.2007
Offline
266
WebAlt
#2

1. Если все директивы одинаковые для всех ПС, то:

User-agent: *
Disallow: /katalog1/
Disallow: /katalog2/

katalog1 и katalog2 запрещены всем.

2. Если хотите разграничить доступ для индексации, то:

User-agent: *
Disallow: /katalog1/
Disallow: /katalog2/

User-agent: Yandex
Disallow: /katalog1/

User-Agent: Googlebot
Disallow: /katalog2/

для Yandex будет запрещен katalog1, но разрешён katalog2.

для Google будет запрещен katalog2, но разрешён katalog1.

SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#3
NewLine:

Подскажите, как правильно.

Правильно - научиться пользоваться форумом и не задавать пачку СЕО-вопросов в техническом разделе.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий