Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по использованию robots.txt

V

4

Valera

8 апреля 2004, 15:34

514

На сайте есть линки вида www.xxxxx.ru/что-то там/goto/где-то там/

Нужно сделать, чтобы паук не лез на такие ссылки (имеющие в своем составе /goto/), причем на разных позициях в урле, т.е. может быть так:

www.xxxxx.ru/123/goto/234/

www.xxxxx.ru/3423/goto/2344/

www.xxxxx.ru/123/987/goto/234/

и т.п.

я сделал robots.txt со следующими строками:

User-Agent: *

Disallow: /goto/

и теперь не могу понять - правильно ли это или же паук будет игнорировать только www.xxxxx.ru/goto/

Подскажите плиз :)

C

120

Cherny

8 апреля 2004, 16:01

#1

паук будет игнорировать только www.xxxxx.ru/goto/

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

V

4

Valera

8 апреля 2004, 16:39

#2

а нет ли какого способа заставить его игнорировать /goto/ вне зависимости от того, в каком месте урла находится этот текст?

C

120

Cherny

8 апреля 2004, 20:06

#3

В robots.txt никак, только

<meta name="robots" content="noindex,nofollow">