Возник спор

нет - мы идем к этому :)

не всякая задача решается от обратного ...

Если вы хотите понять хотя бы примерно логику бота - вам нужно взять логи, сделать по ним статистику, выбрать гипотезы и проверить.

совершенно верно - согласен

вот гипотезу тут и обкатываем :)

у тебя сервис по обкатке гипотез есть ? :)

или мы сначала теоретически их обкатаем ?

Для меня не составляет никакой сложности проанализировать логи поисковиков ни с технической, ни с математической ни в конце концов ресурсовой стороны. Мне это просто не интересно\не нужно.

Я не вижу в какой части этой задачи могут возникнуть непреодолимые проблемы.

ЗЫ: сервис по обкатке гипотез называеться матанализ и статистика(у меня он есть))), корреляция небольшая их часть))

ну так чего тогда в этом топике делаешь ? :)

пытаюсь ответить на ваши вопросы, но не могу, так как не понимаю их сути.

Вы уже пробуете решать задачу от обратного,

и постулируете сохранение порядка очереди.

Наверное, я невнимательно читал, но гипотезы здесь я никакой пока не увидел.

все верно - я ее не озвучил :)

я все ждал, что кто нибудь ее предложит, как вариант ...

свою пока попридержу ...

Предлагаю вариант - роботы не ходят по ссылкам, а всегда используют закладки, поэтому вопрос о том с какого бэка пришел робот не имеет смысла.