robots.txt на google.com

Loko
На сайте с 28.01.2007
Offline
101
339

Не знаю, может обсуждалось уже, но я не нашел.....

Содержание примерно такое (первые строчки)...


User-agent: *
Allow: /searchhistory/
Disallow: /news?output=xhtml&
Allow: /news?output=xhtml
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalogues
Disallow: /news
Disallow: /nwshp
Disallow: /?

Вопрос знатокам - в чем фишка инструкции Allow???? везде пишут красными буквами, что такой инструкции в принципе не существует. Что гугл, в общем, хотел этим сказать?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

В Гугле Allow работает.

Loko
На сайте с 28.01.2007
Offline
101
#2

А... Всё, понял...

Google поддерживает стандартный синтаксис robots.txt, но также вводит расширенную директиву Allow, посредством которой вы можете разрешить индексирование подкаталога или вложенной страницы в каталоге, запрещённом для индексирования.

только толку от этого мало вроде... Яндекс, насколько знаю, это не поддерживает, а значит использовать в рунете глупо...

kimberlit
На сайте с 13.03.2007
Offline
370
#3

Так если использовать то в отдельной секции для Googlebot.

Но на практике Allow никто и не пишет. Я, например, никогда не пишу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий