Все уже давно проверено и зависимость есть,
а что поисковые системы в формулу упорядочивания
очереди еще намешивают это отдельный вопрос, ...
Трастовость, тематичность,
время существования линков,
частота обновления источника,
полное количество линков, ...
Сейчас GreenWood выкатит гипотезу про зависимость
упорядочивания очереди от пиарности линков, ...
Вы уже пробуете решать задачу от обратного,
и постулируете сохранение порядка очереди.
Наоборот с этого надо начинать, надо строить гипотезы и проверять на фактах, чтобы понять какой величины лес проще всего над ним подняться чтобы деревья не заслоняли общую картину, ...
Вы совсем не поняли задачу.
Бот не ходит по линкам а помещает адреса в очередь для обхода, очередь после этого может меняться как угодно хозяину системы, потом бот выбирает адреса из этой очереди, что для первого нахождения адреса может помочь угадать где его нашли.
Как хозяин бота захочет так и будет.
Попробуйте ответить зачем это надо хозяину робота.
А если для индексации нужен порог в десяток линков?
Если бот мог узнать про сайт только из одного источника то задача уже решена, в общем случае задача не имеет смысла потому что очередь на индексацию не должна сохранять порядок источников, а упорядочивается например по нагрузке на каналы для оптимизации их использования. Кстати некоторые боты передают реф, но обычно это адрес корневого документа того сайта который индексируется, чтобы обойти отказ сайта отдавать документы без рефа.
Зерно истины в предложении есть не только для защиты от бана но чтобы не спамили, другие поисковые системы сделали NOFOLLOW как раз для этого но криво, яндексоиды советуют применять NOINDEX что тоже очень криво, было бы полезно сделать это в robots.txt но ТС уже спалил тему, ...
User-Agent: Yandex
Nepot: /
Хорошие доски принимают объявления только от людей.
