Строка в robots.txt

Она значит "закрыть все от индексации". Для каких роботов - должно быть написано выше, после User-agent:

А что значит знак "?". Точнее для чего он нужен?

скорее всего неуклюжая попытка закрыть динамические урлы. Имхо не сработает. Либо вообще ничего не закроет, либо, скорее всего, полностью запретит все к индексации

Весь robots такой:

User-agent: *

Disallow: /news/archive/

Disallow: /library/

Disallow: /authors/

Disallow: /staff/

Disallow: /email/

Disallow: /issue/

Disallow: /forum/profile.php?

Disallow: /?

Host: www.allcafe.info

Для этого сайта вряд-ли есть смысл целиком закрываться от индексации...

Я наткнулся на это случайно, при автопроверке своей ссылки в их каталоге - получил результат, что с robots беда. Но все ссылки видны в Яндексе, правда раз при прошлой проверке процедура не срабатывала, то строки такой не было.

В процедуре-то понятно, стоит поставить preg_quote, чтобы ? не воспринимался как управляющий символ, остается только все-таки вопрос - это вредоносная строка или нет. В ИНЕТЕ я пошарился и такие robots есть. Проверка не дает ошибки в этой строке, но дает в следующей - где host.

Какие будут еще мнения - что за синтаксис с вопросом?

странная строка. но быстроробот яшкин ее правильно интерпретирует.

не знаю, я бы задумался.

А чем проверял?

похоже они борятся с каким то внутренним глюком. видимо проскочили строки с вопросиком в выдачу, типа ссылки с их баннера...

Я думал, что "?" значит, что топикстартер задал вопрос =)

Ну, тогда она значит именно то, что она должна значить: закрыть от индексации все, что начинается с "?". Query string может идти ведь не только после имени файла. Если часть ссылок организована так: domain.com/?section=id - такие ссылки будут закрыты. А параметры из querystring передаются индексному файлу директории (i.e. index.php), но его имя явно не указано.