robots.txt, allow и disallow. Как?

Ragnarok
На сайте с 25.06.2010
Offline
239
267

Допустим, есть какой-то такой robots.txt:

User-agent: Yandex
Allow: /catalog1/
Disallow: /catalog2/

И всё. Будет ли в таком случае бот яндекса индексировать catalog3?

//TODO: перестать откладывать на потом
S6
На сайте с 06.12.2011
Offline
158
SEO
#1

Будет, если он на одном уровне с указанными директориями.

Аудит сайта. Консультации.
M
На сайте с 15.03.2012
Offline
101
#2

бот будет индексировать все, что не запрещено

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий