Как закрыть в robots.txt корневой файл?

12
100chuk
На сайте с 02.12.2005
Offline
194
913

Доброго дня!

Необходимо закрыть для индексации страницу ******.ru/Login.aspx

В robots.txt прописано уже пару месяцев:

User-Agent: *

Disallow: Login.aspx

Не помогает. :gm:

Заранее спасибо за советы.

nickspring
На сайте с 29.03.2006
Offline
228
#1

Попробовать заменить

Disallow: Login.aspx

на

Disallow: /Login.aspx

и попробовать delurl

http://webmaster.yandex.ru/delurl.xml

Можно и сейчас проверить правильность текущей записи robots.txt

http://www.yandex.ru/cgi-bin/test-robots

100chuk
На сайте с 02.12.2005
Offline
194
#2
nickspring:
Попробовать заменить

Disallow: Login.aspx
на
Disallow: /Login.aspx

и попробовать delurl
http://webmaster.yandex.ru/delurl.xml

Можно и сейчас проверить правильность текущей записи robots.txt
http://www.yandex.ru/cgi-bin/test-robots

Спасибо, в чем-то это помогло.

Тогда следующий уточняющий вопрос: как запретить индексировать все страницы вида ******.ru/Login.aspx?ReturnUrl=/621.aspx 🚬

delurl на удаление ******.ru/Login.aspx сказал, что такой нет

А на удаление ******.ru/Login.aspx?ReturnUrl=/621.aspx сказал "хорошо, удалим"

Страниц вида ******.ru/Login.aspx?ReturnUrl=bla-bla-bla естественно до черта.

D
На сайте с 21.06.2006
Offline
168
#3

Можно так

Disallow: /Login.aspx?ReturnUrl

Но кажется, в яндексе это не работает.

Appstorespy - платформа анализа мобильных сторов | Publa.io - готовая инфраструктура для приема платежей и оплаты рекламных кабинетов в бурже
@Timofeev
На сайте с 11.07.2005
Offline
73
#4
100chuk:
Тогда следующий уточняющий вопрос: как запретить индексировать все страницы вида ******.ru/Login.aspx?ReturnUrl=bla-bla-bla

оставьте Disallow: /Login.aspx

робот дальше не пойдёт

Нет смысла рассказывать о моральном облике коллектива, человеку, который имеет доступ к логам прокси :)
D
На сайте с 21.06.2006
Offline
168
#5
@Timofeev:
оставьте Disallow: /Login.aspx
робот дальше не пойдёт

Верно, для ТС этого будет достаточно.

У меня проблема вычистить нежелательные урлы, с определенными параметрами. :)

100chuk
На сайте с 02.12.2005
Offline
194
#6
@Timofeev:
оставьте Disallow: /Login.aspx
робот дальше не пойдёт

Спасибо! Сделаю так, через месяцок посмотрим.. 🚬

A
На сайте с 27.12.2006
Offline
15
#7

Имею следующий robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /datas
Disallow: /plugins
Disallow: /skins
Disallow: /system
Disallow: /users.php
Disallow: /*ratings=*
Disallow: /*comments=*

двумя последними директивами хотел запретить ссылки типа

/page.php?id=1&ratings=1

/page.php?id=1&comments=1

чтобы осталась только /page.php?id=1

Проверил по http://www.yandex.ru/cgi-bin/test-robots?host=subs.com.ru

выдает ошибку

Как правильно отсечь такие ссылки?

A
На сайте с 27.12.2006
Offline
15
#8

и кстати, может можно так:

Disallow: /*ratings=1

Disallow: /*comments=1

или

Disallow: /*ratings=1$

Disallow: /*comments=1$

K
На сайте с 31.01.2001
Offline
737
#9

А может почитать стандарт и FAQ Яндекса, там нет ничего про звездочки.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
pan
На сайте с 24.10.2004
Offline
164
pan
#10
Как правильно отсечь такие ссылки?

Сделайте через мод реврайт нужные урлы, да отсекайте как хотите

Мебельные фабрики Екатеринбурга (http://www.mebel66.ru/catalog/producers/) Дачный ГС жены (http://www.nafazendu.ru) Нет темы для бизнеса ? - да эта тема под ногами (http://www.uralstroyportal.ru/modules/forum/t1674.html)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий