Весь robots такой:
User-agent: * Disallow: /news/archive/ Disallow: /library/ Disallow: /authors/ Disallow: /staff/ Disallow: /email/ Disallow: /issue/ Disallow: /forum/profile.php? Disallow: /? Host: www.allcafe.info
Для этого сайта вряд-ли есть смысл целиком закрываться от индексации...
Я наткнулся на это случайно, при автопроверке своей ссылки в их каталоге - получил результат, что с robots беда. Но все ссылки видны в Яндексе, правда раз при прошлой проверке процедура не срабатывала, то строки такой не было.
В процедуре-то понятно, стоит поставить preg_quote, чтобы ? не воспринимался как управляющий символ, остается только все-таки вопрос - это вредоносная строка или нет. В ИНЕТЕ я пошарился и такие robots есть. Проверка не дает ошибки в этой строке, но дает в следующей - где host.
Какие будут еще мнения - что за синтаксис с вопросом?
А хуже такая ситуация не делает, если как морда продвигается не корень?
Там - это в корне (в корне же лежит и этот index.php). На каждой странице есть одна ссылка на корень и две на /home/. А с точки зрения содержимого index.php есть комментарии?
Ссылки есть с каждой страницы (на корень и на /home/ тоже). Там планировалось сделать оптимизированную главную, но вроде как нужды уже нет. Сейчас лежит index.php в котором только:
<? header("Location: /home"); ?>
Спасибо. А сегодня на кнопке все вернулось назад...