Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

V
На сайте с 21.08.2006
Offline
9
Vladd
369

Вопрос:

такой роботс

User-agent: *

Disallow: /help

запрещает индексацию url, начинающихся /help, т.е. /help.htm, /help/page.htm

А вот такой:

User-agent: *

Disallow: /index.htm

запретит ли индексацию index.html?

[Удален]
#1

Вы FAQ читали прежде чем спрашивать подобные вещи?

V
На сайте с 21.08.2006
Offline
9
Vladd
#2
Gezer:
Вы FAQ читали прежде чем спрашивать подобные вещи?

Да, читал. На свой вопрос ответа не нашел.

SS
На сайте с 03.09.2004
Offline
141
Seventh Son
#3
Vladd:
Да, читал. На свой вопрос ответа не нашел.

Читайте официальный стандарт.

offical standart robots.txt:
Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved. For example, Disallow: /help disallows both /help.html and /help/index.html, whereas Disallow: /help/ would disallow /help/index.html but allow /help.html.

Перевод выделенного: любой УРЛ, начинающийся с этого значения, не будет проиндексирован.

Иными словами - не будет проиндексировано все, что начинается на /index.htm, в том числе и /index.html.

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
V
На сайте с 21.08.2006
Offline
9
Vladd
#4

Seventh Son, спасибо!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий