Чем Яндекс берет ссылки?

Так вопрос не про робот-индексатор - с ним все ясно. Есть подозрение, что ссылки собирает другой робот, не афиширующий себя. ИМХО, Яндекс таким образом пытается замаскироваться под обычного клиента и взять реальный контент или хотя бы набрать базу ссылок.

Что-то идея, мягко выражаясь, сомнительная...

Хм... Интересная идея... У меня на некотором сайте есть пару десятков страниц, которые уж очень нежелательно индексировать... Ссылки на них, при посещении сайта роботами со всех страниц пропадают, но как ни крути все равно частенько яндекс и апорт как-то узнают об их существовании... Извне на них ссылок нет и быть не может...

Определяю я поисковики по принадлежности их ip адресов к доменам в которых встречаются строки 'yandex', 'search' и пр.