Загадочное поведение Scooter`а

Сегодня посвятил некоторое время изучению логов и пришел в неописуемое изумление. Т.е. я и раньше видел в репортах около 3к хитов, сделанных роботом Альтависты, но руки не доходили посмотреть, что именно он ел. Лишь теплилась надежда, что робот нахонец одумался и пришел поесть давно ему скармливаемую старую версию форума. Совсем на заднем плане маячила мысль, что, может, он динамику поел. Действительность оказалась совсем иной, мрачной и непонятной.

Людям, знающим структуру старого скрипта форума - UBB - объяснять особо ничего не надо, остальным поясню. Скрипт форума, который здесь стоял раньше, генерирует статические html страницы для топиков. Причем делается это интересно - поскольку шаблоны и настройки могут меняться, то (а точнее, для обеспечения этого) все топики хранятся в текстовых файлах с расширением .cgi (но это не скрипты), а html строится с помощью базы данных по настройкам и шаблонам и данных файлов.

Так вот, вообразите мое изумление, когда я увидел, что все, что проиндексировал робот - это указанные .cgi-файлы. Я с полчаса просматривал лог, не в силах понять - как робот мог вообще узнать об их существовании? В природе не существует ссылок на них, их никто никогда не просматривал через веб - как же робот смог сформулировать запрос к ним? А потом я выловил запрос к директории ubb. И стало более-менее понятно. Каким-то образом робот зашел по адресу searchengines.ru/ubb, увидел там листинг директории и пошел по ссылкам. Ничуть не смущаясь кодом 206 или 302.

Остается только вопрос - а откуда взялся адрес типа /ubb? Ни разу, нигде такой ссылки не ставилось. Когда я сабмитил списки топиков (давно это было, правда), то там были четкие адреса html-страниц, содержащих ссылки на все топики форума. Каким образом робот их обрезал и обратился к "корневой" директории?

У кого-нибудь мысли есть на этот счет?