А какие у каравана большие минусы? (можно в личку).
Я сижу у него на профи пакетах, и меня "не удовлетворяли" только уж по очень экзотичным вещам.
Ощко_Л, как правило, Вы получаете от поисковиков больше, чем они продают на Вас рекламы.
Не нравится что роботы используют Ваш сайт?
Такой отратительный хостинг что проход иноземного робота стоит денег?
Запрещайте. От простого Dissalow до блокировки сетей IP адресов.
Дата "сегодняшняя" или "сейчас" ?
Что в этом нечестного?
Я тогда думал об посетителях а не о поисковках :D
Движок динамический, дату надо было хоть какую то отдавать.
Раз ты не понял о чем я .. ну извини (-:
У меня есть довольно интересный опыт, возможно чем то тебе поможет.
Ситуация - заброшенный сайт (последнее обновление 2 года назад).
За счет движка (в частности - постоянная отдача более-менее свежей даты последней модификации документа) при практически полном отстуствии на него внешних ссылок он получает ~200 хостов с яндекса (и порядка ~1500 с поисковых систем вообще).
Повторюсь - сайт был сделан одноразово и заброшен...
Возможно - стоит хотя бы запустить по cron раз в ~неделю обход всех страниц и touch на них.
p.s.
Последний раз робот яндекса был 07 Янв 2004 - 23:03 и смотрел 40 страниц (более старые данные сейчас достать неудобно).
Если разработчик читал http://www.piter.com/book_about.phtml?id=978531800186
и этот форум - то разницы нет.
mcphantom
То что гугл перешел по ссылке /click которая ему явно запрещена и которая является редиректом - это вообще то наплевательство на robots.txt в явном виде.
Впрочем, в данном случае мне это наплевательство нравится (-:
А ведь действительно, я был неправ.
http://www.google.com/search?sourceid=navclient&ie=UTF-8&oe=UTF-8&q=link:http%3A%2F%2Fwww%2Einfotel%2Eru%2Findex%2Ehtml
4 и 9 место - учлись.
Чудны дела твои, господи...
А есть зачем изучать?
Ссылки то кривые с них ... И очень похоже что они не учитываются.
Истинно независимых исследований нет, так как каждый считает себя пупом рунета =\
