Timen: Если же некоторые внутренние страницы посещаются не по логическому графику (спонтанно), то это может свидетельствовать о переходе бота по ссылке с другого сайта.
по логическому спонтанно не бывает .
ага ... значит такой вариант не отрицается, как то что бот все таки ходит по ссылкам, а не всегда по графику поставленного на индексацию
А потом, хорошо ..сайт весь проиндексирован - дальше какой порядок обхода ?
По графику или по логическому варианту ?
При условии, что мы берем большой временной отрезок
Lesni4ok: Но в общем случае это нерешаемая задача, так как любой может написать робот, который будет действовать по принципам, понятным только создателю.
Как хозяин бота захочет так и будет.
конечная задача в том и состоит, узнать чего он хочет (не будем пока на это отвлекаться)
Бот не ходит по линкам
ну ты ведь понял об чем речь - чего цепляться ?
ну принято так говорить :)
Lesni4ok, ты рассуждаешь, как чистый технарь :)
я же ясно указал на слово корреляция - от этого и пляши
Попробуйте ответить зачем это надо хозяину робота.
очень просто - подумай :)
Если же некоторые внутренние страницы посещаются не по логическому графику (спонтанно), то это может свидетельствовать о переходе бота по ссылке с другого сайта.
по логическому спонтанно не бывает .
ага ... значит такой вариант не отрицается, как то что бот все таки ходит по ссылкам, а не всегда по графику поставленного на индексацию
А потом, хорошо ..сайт весь проиндексирован - дальше какой порядок обхода ?
По графику или по логическому варианту ?
При условии, что мы берем большой временной отрезок
Но в общем случае это нерешаемая задача, так как любой может написать робот, который будет действовать по принципам, понятным только создателю.
а что ? боты уже по ссылкам не ходят ? :)
или все в форму сабмита добавляют свои ресурсы ?
в общем случае задача не имеет смысла потому что очередь на индексацию не должна сохранять порядок источников
вопрос должна/не должна во многом спорен - исходим из того что должна
уточнил .....
бывает специально для этого и создают хостинги
это уже года как 4 практикуется
раньше все орали - потом привыкли :)
Поддерживаю идею, предлагаю заинтересованным гражданам обсудить вероятность и возможность создания такого проекта
еще ничего тут из общественного до ума не доводилось :)