Кстати, знает -- это ответ сервера в байтах.
Это минус логов Апача, в логах IIS явно пишется host, на который пришел запрос, что меня очень радовало во время работы с сайтами на ASP. ;)
Ради прикола забросил в http://webmaster.yandex.ru/ страницу, которая запрещена в robots.txt, вот результат:
Так что слушается сейчас D инструкций! 🙅
Update: припоздал малость.
-=Илья=-, не исчерпается, поскольку в файле секция для всех роботов оформлена некорректно и ничего никому она не запрещает.
Нашел как раз ту тему, аккурат три года назад было 🚬
Этот вопрос уже жеван-пережеван, да и яндексоиды сейчас в дискуссии не ввязываются, как раньше.
Так что прошу меня извинить, если написал что-то не то, продолжать "наезжать" на Яндекс не хочется.
P.S. А D, кстати, robots.txt сейчас запрашивает, насчет соблюдает ли -- не проверял 🙄
Нет, не разные.
А где сотрудники Яндекса утверждали, что их робот вежливый?
Вот фразу "если вам не нравится, можете нашего робота на сайт не пускать" я где-то точно слышал или читал.
К сожалению не обязан :(
Из того же документа:
Т.е. данный стандарт фактически является рекомендациями. Вот вежливый робот должен этот стандарт соблюдать, а вебмастер вправе отправить робота, игнорирующего стандарт, подальше...
Да, именно так.
Я ошибся, извиняюсь. :(
Ceres, не ту Оболонь пили, лучшая Оболонь - это купленная в фирменном магазинчике при заводе, которая без консервантов и не разбавленная. Но это "места надо знать"! ;)
SiriuS, цифра означает означает время в секундах между успешными запросами робота, как я и писал.
Т.е. если поставить 30, то после запроса одной страницы, следующую робот запросит не раньше, чем через полчаса.
Beginning, я, правда, не совсем программист, но что мешает написать так:
<img src="script.php?var1=<?=$var1 ?>&var2=<?=$var2 ?>">
