Как закрыть в robots.txt корневой файл?

Попробовать заменить

Disallow: Login.aspx

на

Disallow: /Login.aspx

и попробовать delurl

http://webmaster.yandex.ru/delurl.xml

Можно и сейчас проверить правильность текущей записи robots.txt

http://www.yandex.ru/cgi-bin/test-robots

Спасибо, в чем-то это помогло.

Тогда следующий уточняющий вопрос: как запретить индексировать все страницы вида ******.ru/Login.aspx?ReturnUrl=/621.aspx 🚬

delurl на удаление ******.ru/Login.aspx сказал, что такой нет

А на удаление ******.ru/Login.aspx?ReturnUrl=/621.aspx сказал "хорошо, удалим"

Страниц вида ******.ru/Login.aspx?ReturnUrl=bla-bla-bla естественно до черта.

Можно так

Disallow: /Login.aspx?ReturnUrl

Но кажется, в яндексе это не работает.

оставьте Disallow: /Login.aspx

робот дальше не пойдёт

Верно, для ТС этого будет достаточно.

У меня проблема вычистить нежелательные урлы, с определенными параметрами. :)

Спасибо! Сделаю так, через месяцок посмотрим.. 🚬

Имею следующий robots.txt:

двумя последними директивами хотел запретить ссылки типа

/page.php?id=1&ratings=1

/page.php?id=1&comments=1

чтобы осталась только /page.php?id=1

Проверил по http://www.yandex.ru/cgi-bin/test-robots?host=subs.com.ru

выдает ошибку

Как правильно отсечь такие ссылки?

и кстати, может можно так:

Disallow: /*ratings=1

Disallow: /*comments=1

или

Disallow: /*ratings=1$

Disallow: /*comments=1$

А может почитать стандарт и FAQ Яндекса, там нет ничего про звездочки.

Сделайте через мод реврайт нужные урлы, да отсекайте как хотите