Индексация страниц

Здравствуйте! У меня есть сайт, который индексирует Яндексом, но есть одна проблема, которую я сейчас опишу.

В файле robots.txt содержится:

-------------------

User-agent: *

Disallow: /xxx.php

Disallow: /xxxx.html

Disallow: /folder/

Host: www.name.com

-------------------

В файле .htaccess содержится:

-------------------

Options +FollowSymLinks

Options -Indexes

RewriteEngine on

RewriteRule ^ topic([0-9]*)$ folder/topic.php?page=$1 [NC]

-------------------

На сайте есть регистрации и соответственно после регистрации пользователю доступен контент, который не доступен пользователям, которые не зарегистрировались.

Допустим этот контент расположен по адресу: http://www.name.com/topic45462

Когда поисковик находит, на каком ни будь сайте ссылку на этот документ, то он пытается её проиндексировать, но он же не зарегистрированный пользователь, если можно так сказать, поэтому в скрипте срабатывает кусок кода:

-------------------

header("location: /login.php?otvet=324"); exit;

-------------------

Говорящий о том, что тебе нужно войти в свою учётку или зарегистрироваться, чтобы посмотреть эту страницу.

Так вот в поисковике теперь находится страница, которая сказала ему, что он должен войти в аккаунт или зарегистрироваться.

Пример текста из поисковика:

-------------------

Мой сайт | Вход

Описание страницы входа, описание страницы входа,…

http://www.name.com › topic45462

-------------------

И вот мой вопрос: почему он пытался проиндексировать файл, который расположен в директории, которая ему запрещена для индексации?