Хм ... что за боты

Это робот-зеркальщик Яндекса. В индексной базе Яндекса были обнаруженные страницы, очень похожие на те, куда он обращается. Робот проверяет гипотезу о том, что страницы являются "зеркалами".

Подробнее см. http://www.seoman.ru/FAQ/article032.html

но как он может обращаться к этим страницам, если их нету в базе?

и он обращется к страницам которые возможны зеркало других страниц?

а как робот определяет это зеркало или то зеркало ?

просто не могу понять, почему яндекс считает главный домен зеркалом, при этом отлично индексирует поддомены, но на подоменах не весь контент ?

да и как бы первую страницу проиндексировать хотелось бы

Кстати, вот это http://webmaster.yandex.ru/faq.xml уже читали?

Директиву Host не пробовали в robots.txt ?

Во-первых, я не говорил "зеркала" - я говорил "гипотеза о том, что страницы являются "зеркалами". Это важно!

Робот, анализируя информацию в индексной базе, находит очень похожие страницы на разных сайтах. На основе этой информации он может предположить, что страницы или сайты вцелом являются зеркалами. То, что Вы видите в логах - обращения робота для проверки гипотезы. При этом он может пытаться обращаться к несуществующим страницам - это официально подтвержали сотрудники Яндекса. Такое происходит только при условии, если гипотеза выдвинута относительно всего сайта...

Алгоритм определения зеркал Яндексом, как всегда, не разглашается по понятным причинам.

этого не пробовал

пример можно ?