Возник спор

очень просто - подумай :)

Структура сайта не имеет ни малейшего отношения к вопросу.

2greenwood

Объясняю на пальцах.

Для того, чтобы узнать с какого ресурса(я так понял вы имеете ввиду ДНС имя) пришел бот, он должен это либо сам сказать(хотя бы косвенно, например в юзерагенте что это YandexBot) либо нужно сделать обратный резолвинг IP адресу, с которого пришел этот самый бот(хотя отличить бота от обычного человека не такая уж простая задача как кажеться на первый взгляд неискушенным))) Так вот, когда вы по адресу пытаетесь определить имя, это имя не обязательно соответсвует тому, которое вы называете беком. Конечно, правилом хорошего тона, да и исходя из других принципов, это имя должно соответствовать прямому. Более того, любой мало мальски солидный поисковик имеет однозначное сопоставление своих прямых ДНС зон и обратных. Однако это не всегда верно, и я уверен что поисковики имеют отдельные сервера в которых нет корректных обратных зон, которые бы указывали на принадлежность к определенной поисковой системе. Это нужно например для теста на клоакинг и других автоматических тестов "на вшивость"

Так что ваша позиция не ясна, или вопрос сформулирован размыто.

Бот не ходит по линкам а помещает адреса в очередь для обхода, очередь после этого может меняться как угодно хозяину системы, потом бот выбирает адреса из этой очереди, что для первого нахождения адреса может помочь угадать где его нашли.

Как хозяин бота захочет так и будет.

Lesni4ok, ты рассуждаешь, как чистый технарь :)

я же ясно указал на слово корреляция - от этого и пляши

ну ты ведь понял об чем речь - чего цепляться ?

ну принято так говорить :)

2greenwood

Я знаю о кореляции намного больше, чем вы можете себе представить))

конечная задача в том и состоит, узнать чего он хочет (не будем пока на это отвлекаться)

тем лучше :)

вот я и хочу послушать про варианты ...

Вы совсем не поняли задачу.

Наоборот с этого надо начинать, надо строить гипотезы и проверять на фактах, чтобы понять какой величины лес проще всего над ним подняться чтобы деревья не заслоняли общую картину, ...