А что там проверять? Главное, что со стороны русской тройки и Гугла никто из роботов не интересовался стилями. А на остальных можно не обращать внимание.
Кривую мжно подкорректировать, если поставить дополнительные ссылки на нужные страницы. ;)
На форуме в свое время проходила бурная полемика по этому вопросу. AFAIR, количество голосов стучу/не стучу было примерно равным.
Я видел.
CarDriver, каким браузером смотрели?
По умолчанию XML нормально отображает IE, начиная с версии то ли 5.0, то ли 5.5 без каких-либо штепселей. Я смотрел в 6-м, когда сооружал экспорт для Яндекс-новостей, все было нормально, тег <yandex:full-text> там действительно ни при чем.
Что касается расширения, то оно не очень важно, поскольку:
1. Должен выдаваться корректный HTTP-заголовок (text/xml)
2. В документе должен быть DOCTYPE.
Avatar, а PHP положить можно?
По идее ускоритель тоже должен запрашивать дату изменения документа.
Непосредственно прочитать сам заголовок функциями PHP, например. Хотя в большинстве случаев там то же самое, что и в ENV.
Я уже предлагал, ответа пока нет. ;)
LiM, спасибо за информацию. Буду продолжать наблюдать за поведением роботов.
Нет. Первый вариант у Вас правильный:
User-agent: * Disallow: /index.php?
А все ссылки на главную страницу я рекомендовал бы сделать так: <a href="/">, а не так: <a href="/index.php">
