У меня аналогичная проблема, по логам вижу, что робот яндекса ходил, страничку взял. Но дату почему-то более раннюю выдает. Проверила со страницы яндекса - сервер выдает нормальную текущую дату. Странно.
Вот, хотела тему новую начинать, а смотрю - тут уже вовсю тот самый вопрос обсуждается... Нам тоже не очень понятно, что происходит... несколько раз за декабрь были заходы робота, запросил несколько страниц, но в поиске их не показывает, даже в проиндексированных страницах не показывает... Нас тоже забанили? В последние разы в декабре запрашивался только robots.txt, даже index не запрашивался... :(
Например,
cs(User-Agent):Mozilla/4.75+(Macintosh;+U;+PPC) cs-refferer:bookmarks
Видимо, это и есть переход с bookmarks.
Частично можно, наверное - я вот с такой экзотикой столкнулась, например:
Вообще, народ, имхо не очень интересно глядеть, что в закладки добавили. Интересен type-in трафик. Потому что - добавили в закладки, не добавили - какая разница, если потом не вернулись ни разу. Если уж делать скрипт - тогда уже не "Добавить в избранное", а "Сделать домашней страницей". :)
По поводу подсчета type-in траффика. Предлагаю такой признак: без реферера, первый запрос index.htm или чего там вместо этого.
Иногда когда ищешь по-серьезному, стандартной длины запроса не хватает. :(
Я так понимаю, что речь о type-in трафике? Как бы считается, что если "no referer", тогда человек ручками набрал? Имхо, это не совсем так. В моих логах, например, четко видно, что заход с яндекса по поисковому запросу, а потом строчка с "no referer" - запрос, например, таблицы стилей... То есть просто посчитать строчки с "no referer" не даст никакой информации полезной. А ведь оценка таких заходов - это оч. важная вещь! Получается, что стандартными способами ее не произвести?
И его не обрезало при попытке ввести такой длинный запрос? Я тоже хочу такие запросы вводить... :)
Вряд ли дело в запаздывании. Скорее глюк, или смотрит куда-то не туда, куда смотрит денежка. :) Вот бы понять, куда он смотрит, тогда бы прояснилось бы. :)
А еще лучше посадить человека перед монитором, открыть ему бета-версию сайта, и попросить что-нить сделать. И чтобы вслух размышлял при этом. Сами пробовали, очень познавательно. :) Особенно если подобрать неопытного пользователя, а еще лучше, чтоб его данная тема интересовала.