Робот получает страницу так же, как и пользователь.
Поэтому в базе робот сохранит текст ошибки.
Ага. Может это Брин на разборки с Яндексом приезжал?! :D
Ладно, пора заканчивать этот флейм.
IMHO, нет.
Способ есть. Те же стили...
EvgRen, не всегда.
У программиста есть ТЗ, которого он должен придерживаться. Программист должен задать вопрос, почему ТЗ не придерживается общих рекомендаций, а вот что будет дальше, от программиста может не зависеть.
В случае с Яндексом некоторые сервисы роботами не считаются. "Лечится" это выдачей Access Denied для D и закладочника, не припомню его имени. ;)
А если, например, страницы Гугля в индексе Яндекса, кто кому вставлять будет? :)
LiM, Вы правы. Приношу извинения за неправильную формулировку ответа.
LiM, спасибо, я немного в курсе :)
Однако в статье есть ошибка, а именно имя_поля[необязательные пробелы]:[необязательные пробелы]значение[необязательные пробелы]
следует читать так:
имя_поля:[необязательные пробелы]значение[необязательные пробелы]
CarDriver, Disallow лучше со слеша писать:
User-agent: *
Disallow: /faq.php
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /groupcp.php
Disallow: /profile.php
Disallow: /privmsg.php
Disallow: /login.php
Disallow: /viewonline.php
Disallow: /posting.php
Для Win 9x:
C:\Windows\Application Data\Identities\F19C-22-XX-куча всяких цифр-FD34A\Microsoft Outlook\*
Для WinNT/2000/ХР:
С:\Documents and Settings\Username\Application Data\дальше то же самое
Хотя для второго случая могу ошибаться.
Мне, например, легче на PHP объяснить Апачу, что он должен думать. :)
Некоторым легче на Perl, если Вам легче работать с SSI, то придется разбираться с XBitHack full.
Вес документов здесь ни при чем. Возможно я туманно изъясняюсь, но отдельно стоящий last-modified Яндексу по барабану. Если он на запрос к серверу получает 200 Ок, то документ заберет, а дальше уже сам там решает, лень ему переться к Вам на сайт или нет. Может у Вас документы полгода действительно не менялись, вот он их и перестал забирать.
