Яндекс не слушается robots

A
На сайте с 26.05.2007
Offline
74
564

В коде страницы есть ссылки:

site.ru/redir/redir.php?url=http://site2.ru/files/page.php?id=1

В robots

Disallow: /redir/

Если ввести этот URL в форму проверки в ЯВебмастере то он говорит что индексирование запрещено правилами site.ru/redir/redir.php?url=http://site2.ru/files/page.php?id=1 но в структуре сайта яндекс показывает redir/ и количество страниц сайта загруженных говорит о том, что он их читает.

Или в загруженных они и должны быть просто в поиске не появятся?

mark3000
На сайте с 29.08.2009
Offline
115
#1

ПС загружает все страницы (хотя по идее это директивы для ботов, что бы они не ходили туда куда не нужно), потому что вдруг вы завтра измените robots и тогда им придется заного перепроверять, а так это их вроде страховки. Вот если они попадут в выдачу то тогда и нужно переживать.

LINKOSCOP 4.2 (http://www.interascope.biz/linkoscop-4/) это 100+ функций для работы с внутренней перелинковкой
lockki
На сайте с 03.08.2010
Offline
124
#2

если в индексе ничего нет, то все нормально.

вебмастер показывает всю структуру сайта.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий